Jetbot实战系列04:CSI摄像头安装与测试

来源:业界供稿    2021-12-21 15:22:04

关键字: Jetson Nano

在最开始介绍Jetbot的时候有提到,这套智能小车只使用一个CSI摄像头作为全部输入的设备,因为这种设备的体积轻巧、功耗较低。

在最开始介绍Jetbot的时候有提到,这套智能小车只使用一个CSI摄像头作为全部输入的设备,因为这种设备的体积轻巧、功耗较低,并且NVIDIA Jetson系列有针对CSI摄像头提供一组Camera SubSystem来提高效率,是非常适合用在智能车方案上的视频图像输入用途,下表是个各种摄像头的简单比较表,这样就能一目了然地理解Jetobt为何挑选CSI摄像头作为输入设备。

Jetbot实战系列04:CSI摄像头安装与测试

首先要提示的,Jetson Nano(含2GB)所支持的是CSI-2版本接口,早期用在树莓派上50元以下的CSI接口摄像头是不能使用的,主要以IMX219芯片的摄像头为主,价格大约在100元以上,因此请勿选购错误。

本文并不花时间去说明CSI摄像头的工作原理,主要配合Jetbot的安装,以及执行最简单指令去确认您手上的摄像头是良好可用的,否则等整机都装好之后再进行测试,如果遇到不良的摄像头还得再拆卸下来,是一件颇为浪费时间的事情。

  • CSI摄像头装到Jetson Nano(含2GB)上

这种接口并不支持即插即用(PnP, Plug and Play)功能,不能USB摄像头可以随时插入Jetson Nano(含2GB),必须在开机之前就先装好。如果开机后测试发现不成功,就得关机后再检查是否有什么地方安装不正确?或者接触不良的问题,就便利性而言是不如USB摄像头那么顺手。

安装CSI摄像头的种接口如下图左方的卡座,要拔取卡笋进行安装时千万小心力度,这个塑料件比较脆弱,一不小心弄断了,不仅无法再安装CSI摄像头,也严重影响Jetson Nano(含2GB)的质保,需要非常小心处理!

Jetbot实战系列04:CSI摄像头安装与测试

卡座上透过一根专属的软排线(如下图右)与CSI摄像头进行连接,这个软排线是有方向性的,如上图右所显示,软排线有金属针脚的一面要朝内(核心模块)方向,将排线完整塞进卡座之后,再将卡笋往下压,确保完全压倒底,否则摄像头可能因为排线接触不良而无法正常工作

请参考https://cloud.tencent.com/developer/article/1421907 菜鸟手册(2):Jetson Nano安装CSI摄像头”一文,有非常详尽的步骤与动态简图能完整表达过程。总而言之,这个摄像头的安装有些细微之处,需要细心处理。一旦安装测试好之后,也尽量不要拆卸。

  • 测试CSI摄像头的运行

由于Jetbot会关闭Ubuntu图形桌面,因此过去所学到调用nvarguscamera指令,去启动CSI摄像头并在图形桌面上显示的方法,在这里都不能适用,但是v4l2-ctl工具还是能做最基本的检测。

下面的测试都在Jetbot上的Jupyter环境上进行,也顺便讲解一下Jupyter上调用摄像头与显示内容的方法,先熟悉一下这方面的使用是很重要,因为后面所有实验都要用到CSI摄像头。

现在从PC上的浏览器输入 ”<IP_OF_JETBOT>:8888” 进入JetbotJupyter操作界面,然后开启一个命令终端(如下图):

Jetbot实战系列04:CSI摄像头安装与测试

现在先用v4l2-ctl工具检查一下CSI摄像头的状况,请在终端输入以下指令:

 

$

 

$

 

$

# 如果是Docker版,请先安装v4l-utils工具

apt install v4l-utils

# 执行检测指令

v4l2-ctl --list-devices

# 如果检测到 /dev/video0,继续检测这个设备的细部参数

v4l2-ctl --device=/dev/video0 --all

细部参数就不花时间说明,主要让大家知道当有需要的时候,就可以用v4l2-ctl这个工具查看细节。

接下去开始用Jupyter的代码,来测试CSI摄像头的工作状况。首先创建一个新的”Notebook”(如下图步骤),这是Jupyter的工作区域。

Jetbot实战系列04:CSI摄像头安装与测试

每次新开的Notebook都是如下图的状况,会有一个[ ] 与一个方框:

Jetbot实战系列04:CSI摄像头安装与测试

现在就将下面代码复制到在Notebook的方框内里,由于前面“v4l2-ctl”检测到这个摄像头的宽高为(1640, 1232),因此在代码中将摄像头与widgets的图形尺寸都设为这两个数字:

 

from jetbot import Camera, bgr8_to_jpeg

import ipywidgets.widgets as widgets

from IPython.display import display

import traitlets

 

camera = Camera.instance(width=1640, height=1232)

 

image = widgets.Image(format='jpeg', width=1640, height=1232)

camera_link = traitlets.dlink((camera, 'value'), (image, 'value'), transform=bgr8_to_jpeg)

 

display(image)

然后按一下“Ctrl-Enter”组合键就能执行,正常的话就能在下方看到一个方框显示摄像头所捕捉的动态画面,这样就完成CSI摄像头的测试。假如饭局这个显示好像有点小延迟,这是正常的,毕竟这里选择的是(1640, 1232)尺寸,试试将尺寸都缩小到1/2之后,是不是就流畅的多?

如果要停止摄像头播放,就用上面的“+”号添加一个“指令格”,然后在里面输入

 

camera_link.unlink()

然后用“Ctrl-Enter”执行这个指令,这时候显示画面就处于冻结状态,不会播放显示器所捕捉的内容。

假如想要让摄像头再次执行播放,就在下面再添加一个“指令格”,输入

 

camera_link.link()

按下“Ctrl-Enter”执行,就会看到显示框里的内容又开始执行动态播放了。

  • 代码解说

由于Jupyter并不支持OpenGL功能,无法像图形桌面那样直接播放视频,因此在这里需要使用一些固定的技巧,将视频转成图形方式去显示,上面这段代码可以说是Jetbot所有实验启动CSI摄像头的标准内容。

这个代码中有几个关键的部分:

  1. jetbotCamera模块:

早期Jetbot的摄像头是基于NVIDIAJetCam项目,提供对CSIUSB两类摄像头的支持,不过最新版本中仿佛只对CSI摄像头提供支持,并且将底层的代码放在jetbot/camera下面的几只.py里面。

这使得调用方式变得非常简单,只要将宽与高提供给Camera.instance(,)就可以,不需要再指定摄像头的编号。

  1. ipywidgets

这个模块为jupyter提供非常好用的“互动式小部件”,为原本只提供静态显示的教学环境,注入非常生动与多样化互动的功能。

熟悉图形化开发工具的朋友就应该知道,很多这类工具会提供下拉式选项、滑块調整、复选框、文字框这类的小部件,可以组建较为复杂的仪表盘。

在后面控制Jetbot车轮的实验中会使用到多种这类小部件,这里只是用到比较简单的widgets.image功能,设定输出为 ”jpeg”格式图像。

  1. iPython.display

这是一个python互动式界面里的显示功能,这里就是将widget.image输出的jpeg图像显示在Jupyter

  1. traitlets

如果从整个英文字去翻译,这个库就被称为“叛徒库”,其实是蛮奇怪的东西。但如果将这个字切割成 ”trait””-let”组合,就能解释成“小特征”的含义,例如booklet是小册子、eaglet是小老鹰的意思。

这个库的功能非常强大,除了能为我们处理“类型检查”之外,还能为动态计算提供预设值、修改属性之后发出更改的事件信号、处理属性值之间的交互影响,为我们简化很多复杂的交错关系。

在上述代码中”camera_link=traitlets.dlink((camera, 'value'), (image, 'value'), transform=bgr8_to_jpeg)”,将摄像头读取的图像与widgets.image所创建的image对象产生动态关联,并将摄像头图形执行“bgr8_to_jpeg”转换,存放到image里,最后再由display(image)显示出来。

至于camera_link物件就能在后面透过.link().unlink()执行开关人任务,以实现“暂停”与“再启动”的功能。

这样我们对Jetbot摄像头的调用与使用,就有个初步的了解,在后面实验中就能更清楚的感受到这些功能的使用。[]

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:010-62641205-5060 举报邮箱:jubao@zhiding.cn 安全联盟认证