空间滤波器是什么？它如何提升ToF相机的深度质量？

本文最初发布于e-con Systems官方网站，经授权转载。

飞行时间（ToF）相机通过测量发射的近红外光与其反射光之间的相位差来生成深度图。每个像素记录相位偏移，并将其转换为距离信息。然而，原始深度图往往因传感器噪声、表面反射特性以及环境光的影响而出现波动。

这些不规则现象表现为抖动、边缘模糊或点云散布伪影，从而降低深度信息的质量。

虽然调制频率、照明强度和曝光时长等系统级参数能够改善原始信号，但无法彻底消除残余噪声。这正是空间滤波器发挥关键作用的地方。

本文将介绍空间滤波器的工作原理、ToF相机中使用的算法，以及它们如何提升深度质量。

空间滤波器的工作原理

空间滤波通过在局部邻域内降低像素级方差来发挥作用。单个像素很少能提供足够的信息以获得稳定的测量结果，特别是当表面反射率较低或存在环境干扰时。综合考虑周围像素的数值有助于减少异常值，使深度图过渡更平滑。

其原理是在每个像素周围的设定区域内应用一个数学卷积核。该核决定了相邻像素如何影响中心像素的赋值。

根据算法不同，卷积核可能对距离较近的像素赋予较高权重，或综合考虑幅值或相位的差异，或直接选取中值。最终生成的深度图能够抑制噪声，同时保留结构细节。

高斯滤波器

高斯滤波器是平滑深度数据最广泛使用的方法之一。其权重函数具有径向对称性。

该函数赋予靠近卷积核中心的像素较大影响力，并随距离增加平滑衰减。实际应用中，3×3或5×5的卷积核较为常见。

该滤波器可在深度转换之前应用于相位图，也可直接作用于深度图。

计算过程包括将每个像素及其相邻像素与预先计算的权重相乘，求和后按总权重归一化。它生成原始深度图的模糊版本，能减少大面积上的随机波动。

虽然边缘处的对比度会下降，但点云的整体平滑度得到提升，这有助于物体尺寸测量或体积估算。

双边滤波器

双边滤波器在高斯滤波的基础上引入了幅值差异作为权重函数的一部分。两个像素可能在空间上接近，但分别属于具有不同深度值的不同表面。

简单的高斯核会将它们融合在一起，使边缘变得模糊

而双边滤波器会对相位差较大的相邻像素分配较低权重

在ToF系统中，幅值图能够为强度值提供有力参考。该滤波器结合幅值差异与空间邻近度来优化深度图。幅值与相位接近的相邻像素贡献较大，而存在明显不连续的像素影响较小。这确保了结构边缘（例如物体与背景之间的边界）保持清晰。

该滤波器的实际应用可见于我们最新的DepthVista-Helix 3D相机，它能在保留清晰结构边缘的同时提供精确的深度测量。

空间中值滤波器

空间中值滤波器采用了不同的思路。它不对像素值进行加权或插值，而是从邻域中选取中值。因此，所选值始终对应一个真实测量数据，而非插值结果。

卷积核大小通常为3×3或5×5，决定了考虑的相邻像素数量。中值操作能有效抑制极端异常值。例如，受反射伪影或传感器噪声影响的单个像素，在周围邻域稳定时影响极小。这能减少椒盐噪声，同时不会像高斯滤波那样模糊边缘。

空间中值滤波器的计算开销低于双边滤波器，但高于高斯平滑。

空间滤波器如何提升深度质量

空间滤波器抑制相邻像素间的随机波动，减少点云中表现为抖动的时间不稳定性。连续帧之间的深度数据变得更加平滑，从而改善可视化效果，并降低静态环境中测量漂移的风险。

大型平面物体和平滑弯曲的结构在原始深度图中由于局部像素方差而显得碎片化。应用高斯平滑能减少这些不一致性，生成均匀且几何连贯的表面。这能提高尺寸测量、工业检测和体积分析等任务的精度，因为这些应用需要表面的连续性来保证正确解读。

许多基于ToF相机的系统需要清晰的边缘，例如在复杂场景中的物体检测或分割。双边滤波结合空间邻近度和强度差异，确保来自不同表面的像素不易混合。它保留边界处的锐利过渡，即使在噪声环境下也能生成具有清晰边缘和完整结构的深度图。

多径反射、低反射率材料或瞬态传感器伪影会产生孤立的异常像素，破坏深度图。中值滤波通过选取邻域中值而非加权平均来消除这些异常值。

它能去除杂散尖峰而不模糊邻近数据，从而在反射或多变表面的环境下提供更强的鲁棒性。

不同的应用场景需要在平滑度、边缘保留和计算负载之间做出不同权衡。高斯滤波器简单快速，双边滤波器更适合保留边缘，而中值滤波器则专注于异常值抑制。

开发者可以调整卷积核大小、权重因子和滤波器组合，根据系统资源和应用需求优化性能，从而使ToF相机交付适合下游应用的深度数据。

关于e-con Systems

自2003年以来，e-con Systems一直专注于可定制OEM相机解决方案的设计、开发与制造。我们的ToF相机采用940nm和850nm波长的近红外光，可在室内外场景下提供精确的3D成像。它们支持USB、MIPI和GMSL2接口，并兼容NVIDIA Jetson AGX Orin、AGX Xavier以及x86平台的SDK。

我们的相机产品包括基于onsemi公司AF0130 CMOS ToF传感器的iToF GMSL2相机和3D深度（CW iToF）USB相机，采用双边滤波器获取高分辨率深度图像，同时不损失边缘清晰度。

如需在视觉系统中部署最佳ToF相机方案，可通过邮件咨询专家。

Q&A

Q1：空间滤波器在ToF相机中起什么作用？

A：空间滤波器通过考虑局部邻域而不是单一像素值，来平滑像素级的不一致性。它们能减少深度图中的抖动和噪声，生成更干净的点云，适用于机器人、工业检测和地图测绘等场景。

Q2：高斯滤波器和双边滤波器有什么区别？

A：高斯滤波器对相邻像素进行加权平均，能减少随机波动，让大面积区域更平滑，但会使边缘对比度下降。双边滤波器在计算权重时同时考虑空间邻近度和相位差异，能在抑制噪声的同时保留清晰的边缘，更适合需要边界清晰的应用。

Q3：什么情况下应该使用空间中值滤波器？

A：当环境中存在多径反射或传感器伪影导致异常像素时，空间中值滤波器是理想选择。它从邻域中选取中值，能消除极端偏差，同时保持深度数据的一致性，对反射性或多变表面环境具有较强的鲁棒性。