在本系列上一篇文章中,我们为大家展示了如何执行常见机器视觉应用。在本篇文章中,我们将带领大家调节 CSI 图像质量。
前面两篇文章在 Jetson Nano 2GB 上使用 CSI 摄像头做了几个实验,效果很不错,并且很容易上手。很快有用户反映,觉得摄像头拍到的图像质量似乎有点问题,包括可能有些噪点、色偏之类的问题,或者想处理白平衡、调整亮度/对比度/饱和度之类的问题,该如何解决?
本期重点就带着大家利用强大的 GStreamer 框架,调整一些设定值,来改变 CSI 摄像头截取图像的质量,主要包括 nvarguscamerasrc 与 videobalance 这两个元素,都提供可调整的参数,以下简单说明。
首先启动一个最基础的 CSI 摄像头调用代码,如下:

执行结果如下图:

nvarguscamerasrc 元素
接着在 Jetson Nano 2GB 上打开一个终端,利用 GStreamer 提供的 gst-inspect-1.0 指令去查询 CSI 摄像头可设定的参数有哪些。

指令后面的“nvarguscamerasrc”元素对应 CSI 设备,是 NVIDIA 提供 Argus 库的对应关键字。执行上述指令后会出现长达 146 行的列表,内容太多不一一说明,仅就以下部分进行测试:
wbmode : 白平衡影响照片的色温,可设定[0:9]的整数

tnr-mode 与 tnr-strength :调整时间降噪强度
首先选择 tnr-mode 选项:设值为[0:2]的整数
然后再选择 trn-strength 强调,从[-1:+1]之间的浮点数

ee-mode 与 ee-strength:调整边缘增强强度
首先选择 tnr-mode 选项:设值为[0:2]的整数
然后再选择 trn-strength 强调,从[-1:+1]之间的浮点数

saturation:饱和度,设值[0:2]之间的浮点数

以上是 nvarguscamerasrc 设定值的一部分,因此在 GStreamer 工作流里面,需要放在 nvarguscamerasrc 元素里。下面代码做以下的测试设定:
白平衡:wbmode=3(白炽灯)
时间降噪强度:tnr-mode=2(NoiseReduction_HighQuality),tnr-strength=1
边缘强化强度:ee-mode=2(EdgeEnhancement_HighQuality),ee-strength=1
饱和度:saturation=0.5
添加的代码在下方代码“粗体底线”的部分:

执行结果如下图:

这个输出结果与原图相比较,可以明显看到因为饱和度只取“0.5”,导致颜色明显变淡,边缘的部分则明显增强,至于噪点部分没有明显变化。
videobalance 元素
另外还有一个 videobalance 元素可以对图像质量进行调整,同样使用 gst-inspact-1.0 来检查 videobalance 里的参数,执行以下质量:

这部分设定值比较单纯,主要由 7 个设定值,其中与图像有关的以下部分:

下面代码做以下的测试设定,见于“粗体底线”部分:
对比度 constrast(预设值为 1)设为 1.5
亮度 brightness(预设值为 0)设为 0.2
饱和度 saturation(预设值为 1)设为 2.0
添加的代码在下方代码“粗体底线”的部分:

执行结果如下图:

这里的饱和度改变较大,可以看出明显的差异。
以上是简单地透过调整这两个元素的部分参数所作的实验,实际的优化过程还需根据实际状况进行优化调整,特别是光线模式的选择,最好根据当时的状况修改。
好文章,需要你的鼓励
英特尔携手戴尔以及零克云,通过打造“工作站-AI PC-云端”的协同生态,大幅缩短AI部署流程,助力企业快速实现从想法验证到规模化落地。
意大利ISTI研究院推出Patch-ioner零样本图像描述框架,突破传统局限实现任意区域精确描述。系统将图像拆分为小块,通过智能组合生成从单块到整图的统一描述,无需区域标注数据。创新引入轨迹描述任务,用户可用鼠标画线获得对应区域描述。在四大评测任务中全面超越现有方法,为人机交互开辟新模式。
阿联酋阿布扎比人工智能大学发布全新PAN世界模型,超越传统大语言模型局限。该模型具备通用性、交互性和长期一致性,能深度理解几何和物理规律,通过"物理推理"学习真实世界材料行为。PAN采用生成潜在预测架构,可模拟数千个因果一致步骤,支持分支操作模拟多种可能未来。预计12月初公开发布,有望为机器人、自动驾驶等领域提供低成本合成数据生成。
MIT研究团队发现,AI系统无需严格配对的多模态数据也能显著提升性能。他们开发的UML框架通过参数共享让AI从图像、文本、音频等不同类型数据中学习,即使这些数据间没有直接对应关系。实验显示这种方法在图像分类、音频识别等任务上都超越了单模态系统,并能自发发展出跨模态理解能力,为未来AI应用开辟了新路径。