前面的系列文章里提过,TAO工具将模型训练的绝大部分技术难题都进行抽象化处理,大幅度减轻开发人员的负担,唯独数据集的收集与整理仍须由人工自行处理,这几乎是留个操作人员的最后工作了。
NVIDIA Jetson开发者日是一个面向所有开发者开放的特别活动。现在免费注册,您将看到Jetson平台专家进行深入探讨,通过多场讲座展示自主机器和边缘AI的最新创新。
前一篇从Jetson Projects所挑选的“TRANSFER LEARNING WITH JETBOT & TRAFFIC CONES”项目,是延续避撞应用使用深度学习的图像分类技术,让Jetbot实现循路的功能,这种“定速”类型的操作基本上比较偏向于“找路”或“走迷宫”的应用。
Jetbot使用深度学习最基础的图像分类功能,模拟人类真实的视觉感知能力来实现避撞的应用,基本的原理在前一篇文章里已经详细说明,原厂提供的best_model.pth模型文件所采用的数据集。
避撞功能是智能车的最基本保护能力,Jetbot使用深度学习的图像分类技术来模拟人眼习惯实现这个功能,但这只是智能车所展现的最入门应用而已,接下去就要提升到“循路”的功能,跟着指定路线去前进,才是真正进入有实用价值的应用。
避撞功能是Jetbot一开始最令人瞩目的功能,因为这是所有小车都必须具备的最基本“自我保护”的能力,而Jetbot没有任何距离传感,只凭着一个CSI摄像头就能完成这项任务,对很多人来说是一件蛮神奇的事情。
假如您的Jetbot小车是从外面采购第三方套件的话,可以跳过本文的内容。如果您是按照jetbot.org原厂的自行组装方式,那么本文所提供的一些细节点,会让您节省很多摸索的时间。
机电控制是智能车最重要的输出功能,假如您使用Jetbot官方的自行打印车体并用组装方式来搭建智能小车的话,就需要搭配下图这个 ”DC-Stepper-Motor” 控制板,因为3D打印车体是根据这个控制板所设计的。
在“Jetbot实战系列05-Jetson的40针引脚”一文,已经将SFIO与GPIO之间的关系分析清楚,接下来就是带着大家更深入了解I2C引脚与开发库的使用,以及调整PiOLED显示内容的方法。
嵌入式设备有个天生赋予的重点任务,就是要成为自动控制整体方案中的一员。早期市场对自动控制的需求主要集中在单纯的“机电控制”上,而具备智能计算的Jetson系列产品相对与几十元的这类控制板来说,成本是高出一个阶位。
无线网络是操控无人车的必要设备,因为我们不可能让无人车拖着一条网路线去进行操作。要为Jetson Nano(含2GB)装上一片无线网卡是非常简单的事情,但是最复杂的问题是“设置”的细节,必须兼顾更多可能的使用场景。
本次Jetbot实验全程都在 Jetson Nano 2GB 开发套件上面运行。在组装Jetbot教学系统之前,最好先把Jetbot系安装到Jetson Nano 2GB上,这样可以先对每个元件进行独立的测试,确认元件能正确工作之后再进行组装的步骤。
在2019年NVIDIA推出Jetson Nano边缘计算设备之后,这套开源的Jetbot智能无人车教学系统也随之而生,为市场提供一套最优性价比的教学系统。
这是个非常有用的插件,是DeepStream 5.0添加的功能,对nvinfer(主检测器)和nvtracker附加的元数据执行分析,目前主要针对涉及感兴趣区域(ROI)的过滤、过度拥挤检测、方向检测和跨线统计等四大功能。
很多人惊艳于deepstream-app里面那个可以同时检测到车子的颜色、品牌、种类的实验,这的确是个非常亮眼的应用,在开发包范例中的deepstream-test2就是这项功能的范例代码。
本文以上一期Python版的deepstream-teat1为基础,分别在输入与输出添加功能的两个扩展应用:deepstream-teat1-usbcam与deepstream-teat1-rtsp-out,分别将输入源从视频文件变成USB摄像头,以及将输出从显示屏变成RTSP视频流。
前面已经介绍过关于DeepStream各种输入源的使用方式,而且Jetson Nano 2GB上开启4路输入(两个摄像头+两个视频文件),都能得到25FPS以上的实时性能。
前面介绍过使用deepstream-app工具,启用多个视频进行车辆与行人的识别,并且启动“追踪”功能进行物件追踪的高级功能,接下来就教大家如何在deepstream-app里调用USB与CSI摄像头,并且与先前的视频同时启用来进行物件识别的应用。