在本系列上一篇文章中,我们为大家展示了如何执行常见机器视觉应用。在本篇文章中,我们将带领大家调节 CSI 图像质量。
前面两篇文章在 Jetson Nano 2GB 上使用 CSI 摄像头做了几个实验,效果很不错,并且很容易上手。很快有用户反映,觉得摄像头拍到的图像质量似乎有点问题,包括可能有些噪点、色偏之类的问题,或者想处理白平衡、调整亮度/对比度/饱和度之类的问题,该如何解决?
本期重点就带着大家利用强大的 GStreamer 框架,调整一些设定值,来改变 CSI 摄像头截取图像的质量,主要包括 nvarguscamerasrc 与 videobalance 这两个元素,都提供可调整的参数,以下简单说明。
首先启动一个最基础的 CSI 摄像头调用代码,如下:
执行结果如下图:
nvarguscamerasrc 元素
接着在 Jetson Nano 2GB 上打开一个终端,利用 GStreamer 提供的 gst-inspect-1.0 指令去查询 CSI 摄像头可设定的参数有哪些。
指令后面的“nvarguscamerasrc”元素对应 CSI 设备,是 NVIDIA 提供 Argus 库的对应关键字。执行上述指令后会出现长达 146 行的列表,内容太多不一一说明,仅就以下部分进行测试:
wbmode : 白平衡影响照片的色温,可设定[0:9]的整数
tnr-mode 与 tnr-strength :调整时间降噪强度
首先选择 tnr-mode 选项:设值为[0:2]的整数
然后再选择 trn-strength 强调,从[-1:+1]之间的浮点数
ee-mode 与 ee-strength:调整边缘增强强度
首先选择 tnr-mode 选项:设值为[0:2]的整数
然后再选择 trn-strength 强调,从[-1:+1]之间的浮点数
saturation:饱和度,设值[0:2]之间的浮点数
以上是 nvarguscamerasrc 设定值的一部分,因此在 GStreamer 工作流里面,需要放在 nvarguscamerasrc 元素里。下面代码做以下的测试设定:
白平衡:wbmode=3(白炽灯)
时间降噪强度:tnr-mode=2(NoiseReduction_HighQuality),tnr-strength=1
边缘强化强度:ee-mode=2(EdgeEnhancement_HighQuality),ee-strength=1
饱和度:saturation=0.5
添加的代码在下方代码“粗体底线”的部分:
执行结果如下图:
这个输出结果与原图相比较,可以明显看到因为饱和度只取“0.5”,导致颜色明显变淡,边缘的部分则明显增强,至于噪点部分没有明显变化。
videobalance 元素
另外还有一个 videobalance 元素可以对图像质量进行调整,同样使用 gst-inspact-1.0 来检查 videobalance 里的参数,执行以下质量:
这部分设定值比较单纯,主要由 7 个设定值,其中与图像有关的以下部分:
下面代码做以下的测试设定,见于“粗体底线”部分:
对比度 constrast(预设值为 1)设为 1.5
亮度 brightness(预设值为 0)设为 0.2
饱和度 saturation(预设值为 1)设为 2.0
添加的代码在下方代码“粗体底线”的部分:
执行结果如下图:
这里的饱和度改变较大,可以看出明显的差异。
以上是简单地透过调整这两个元素的部分参数所作的实验,实际的优化过程还需根据实际状况进行优化调整,特别是光线模式的选择,最好根据当时的状况修改。
好文章,需要你的鼓励
大数据可观测性初创公司Monte Carlo Data推出全新Agent Observability产品,为AI应用提供全方位数据和AI可观测性。该工具帮助团队检测、分类和修复生产环境中AI应用的可靠性问题,防止代价高昂的"幻觉"现象,避免客户信任度下降和系统宕机。新产品采用大语言模型作为评判器的技术,能够同时监控AI数据输入和输出,提供统一的AI可观测性解决方案。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
网络安全公司Aikido披露了迄今最大规模的npm供应链攻击事件。攻击者通过钓鱼邮件获取维护者账户凭证,向18个热门JavaScript包注入恶意代码,这些包每周下载量超过26亿次。恶意代码专门劫持加密货币交易,监控浏览器API接口将资金转移至攻击者地址。受影响的包括chalk、debug等广泛使用的开发工具库。虽然攻击在5分钟内被发现并及时公开,但专家警告此类上游攻击极具破坏性,可能与朝鲜黑客组织相关。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。