在本系列上一篇文章中,我们为大家展示了如何执行常见机器视觉应用。在本篇文章中,我们将带领大家调节 CSI 图像质量。
前面两篇文章在 Jetson Nano 2GB 上使用 CSI 摄像头做了几个实验,效果很不错,并且很容易上手。很快有用户反映,觉得摄像头拍到的图像质量似乎有点问题,包括可能有些噪点、色偏之类的问题,或者想处理白平衡、调整亮度/对比度/饱和度之类的问题,该如何解决?
本期重点就带着大家利用强大的 GStreamer 框架,调整一些设定值,来改变 CSI 摄像头截取图像的质量,主要包括 nvarguscamerasrc 与 videobalance 这两个元素,都提供可调整的参数,以下简单说明。
首先启动一个最基础的 CSI 摄像头调用代码,如下:

执行结果如下图:

nvarguscamerasrc 元素
接着在 Jetson Nano 2GB 上打开一个终端,利用 GStreamer 提供的 gst-inspect-1.0 指令去查询 CSI 摄像头可设定的参数有哪些。

指令后面的“nvarguscamerasrc”元素对应 CSI 设备,是 NVIDIA 提供 Argus 库的对应关键字。执行上述指令后会出现长达 146 行的列表,内容太多不一一说明,仅就以下部分进行测试:
wbmode : 白平衡影响照片的色温,可设定[0:9]的整数

tnr-mode 与 tnr-strength :调整时间降噪强度
首先选择 tnr-mode 选项:设值为[0:2]的整数
然后再选择 trn-strength 强调,从[-1:+1]之间的浮点数

ee-mode 与 ee-strength:调整边缘增强强度
首先选择 tnr-mode 选项:设值为[0:2]的整数
然后再选择 trn-strength 强调,从[-1:+1]之间的浮点数

saturation:饱和度,设值[0:2]之间的浮点数

以上是 nvarguscamerasrc 设定值的一部分,因此在 GStreamer 工作流里面,需要放在 nvarguscamerasrc 元素里。下面代码做以下的测试设定:
白平衡:wbmode=3(白炽灯)
时间降噪强度:tnr-mode=2(NoiseReduction_HighQuality),tnr-strength=1
边缘强化强度:ee-mode=2(EdgeEnhancement_HighQuality),ee-strength=1
饱和度:saturation=0.5
添加的代码在下方代码“粗体底线”的部分:

执行结果如下图:

这个输出结果与原图相比较,可以明显看到因为饱和度只取“0.5”,导致颜色明显变淡,边缘的部分则明显增强,至于噪点部分没有明显变化。
videobalance 元素
另外还有一个 videobalance 元素可以对图像质量进行调整,同样使用 gst-inspact-1.0 来检查 videobalance 里的参数,执行以下质量:

这部分设定值比较单纯,主要由 7 个设定值,其中与图像有关的以下部分:

下面代码做以下的测试设定,见于“粗体底线”部分:
对比度 constrast(预设值为 1)设为 1.5
亮度 brightness(预设值为 0)设为 0.2
饱和度 saturation(预设值为 1)设为 2.0
添加的代码在下方代码“粗体底线”的部分:

执行结果如下图:

这里的饱和度改变较大,可以看出明显的差异。
以上是简单地透过调整这两个元素的部分参数所作的实验,实际的优化过程还需根据实际状况进行优化调整,特别是光线模式的选择,最好根据当时的状况修改。
好文章,需要你的鼓励
前沿AI研究机构Decart发布最新世界模型Oasis 3,旨在弥合虚拟仿真与物理AI之间的鸿沟。该模型将超写实交互图形能力与强大物理引擎相结合,可生成动作驱动的视频流,支持多视角环境模拟,延迟低于200毫秒。开发者能够借助自然语言提示,快速构建多样化极端场景,有效解决机器人和自动驾驶领域长期存在的"仿真到现实"差距问题,大幅降低物理AI训练成本。
OpenSkill是一套让AI代理无需人工监督即可自主成长的框架,通过从互联网获取知识、自建虚拟考题反复练习,实现真正的开放世界自我演化。
Visual Components正式发布5.1版本工厂仿真软件,重点引入高精度物理仿真与可扩展机器人协同调度能力,支持在同一环境中同时模拟数百台自主移动机器人、自动导引车及人员的运行状态。新版本还将仿真性能提升至前代的10倍,新增Allen-Bradley PLC支持及Nachi、Epson机器人虚拟调试插件,并将脚本环境升级至Python 3。该软件旨在帮助制造商在实际部署前完成系统验证,降低调试风险,缩短投产周期。
论文研究了AI评委同时优化多个评判维度时的两大失败原因:梯度稀释与指令干扰,为多目标提示词优化提供了系统性诊断框架。