利用Ubicept Photon Fusion提升CMOS夜间成像性能

本文最初发布于Ubicept官网，经授权转载。

我们带来了又一项技术演示！此前，我们探讨了Ubicept Photon Fusion（UPF）如何提升高帧率CMOS图像质量，以及这些改进如何转化为AR/VR应用中更优质的下游感知能力。

自那以后，我们与多家对该技术感兴趣的汽车企业展开了合作。这些企业充分认识到下一代SPAD传感器的潜力，同时也希望了解我们能否在其现有的当代CMOS传感器基础上进一步提升性能。

相关项目的结果颇为亮眼，但由于涉及保密客户项目，我们无法在此公开。因此，我们决定自行采集一些演示素材。

本次测试采用了搭载索尼Pregius S传感器的Allied Vision Alvium 1800 U-510c相机。该设备兼具高灵敏度、全局快门、高帧率以及便捷的原始传感器数据访问能力——这些特性对于Ubicept Photon Fusion的处理流程至关重要。

首先，我们将传统1/30秒曝光效果与UPF处理结果进行对比：

1/30秒曝光（上）与UPF处理结果（下）

我们还对画面中的标志牌进行了局部放大，以观察不同曝光时间下的成像变化：

1/30秒（左上）、1/15秒（右上）、1/120秒（左下）、UPF处理结果（右下）

前三张图片清晰呈现了经典的噪点与模糊之间的权衡关系：将曝光时间延长至1/15秒可有效降低噪点，但会加剧运动模糊；缩短至1/120秒虽能减少运动模糊，却会导致噪点明显增加。而Ubicept Photon Fusion通过对一组短曝光连拍帧进行重建合成，在保留1/120秒曝光锐度的同时，大幅降低了噪点水平。

当然，传统CMOS传感器的性能提升空间仍存在一定上限。若要在更极端条件下抑制运动模糊，则需要进一步缩短曝光时间，而这将使读出噪声逐渐主导采集信号，最终难以维持有效成像质量。

这正是SPAD传感器在此类应用中极具吸引力的原因之一——SPAD传感器不受读出噪声影响。尽管如此，上述示例已充分表明，基于现有CMOS传感器，低光照条件下的车载成像性能仍有相当大的提升空间。

完整演示视频可点击观看。

如需对比细节，请参阅以下额外静态帧图片：

1/30秒曝光（上）与UPF处理结果（下）

1/30秒曝光（上）与UPF处理结果（下）

1/30秒曝光（上）与UPF处理结果（下）

1/30秒曝光（上）与UPF处理结果（下）

1/30秒曝光（上）与UPF处理结果（下）

最后值得一提的是：细心的读者可能会认出这些道路场景——它们曾出现在我们此前发布的《利用Ubicept突破HDR极限》一文中。由于两次拍摄相隔数月，难以进行直接对比，但读者不妨参阅该文，将针对Ubicept Photon Fusion优化的低光照CMOS相机（即本文）与搭载传感器内HDR的现代行车记录仪及运行Ubicept Photon Fusion的完整SPAD成像系统（彼文）进行横向对照。

如需了解Ubicept Photon Fusion如何为您的应用场景带来价值，欢迎访问Ubicept工具包，目前已全面支持CMOS与SPAD两类相机。

Q&A

Q1：Ubicept Photon Fusion（UPF）是什么技术？它如何改善夜间成像？

A：Ubicept Photon Fusion是由Ubicept开发的一种图像处理技术，能够从一组短曝光连拍帧中重建出单帧高质量图像。在夜间或低光照场景下，它可以在保留短曝光带来的运动锐度的同时，大幅降低图像噪点，从而突破传统CMOS传感器在噪点与运动模糊之间的两难困境。

Q2：CMOS传感器和SPAD传感器在低光照成像方面有什么区别？

A：传统CMOS传感器存在读出噪声问题，在极短曝光时间下，读出噪声会主导采集信号，导致画质严重下降。而SPAD传感器不受读出噪声影响，因此在极低光照或需要极短曝光的场景中具有明显优势。不过，通过Ubicept Photon Fusion技术，现有CMOS传感器在低光照成像方面仍有相当大的性能提升空间。

Q3：Ubicept Photon Fusion目前支持哪些类型的相机？

A：目前，Ubicept Photon Fusion已通过Ubicept工具包向用户开放，同时支持CMOS和SPAD两类相机，用户可根据自身应用场景选择合适的方案进行集成与测试。