在2019年NVIDIA推出Jetson Nano边缘计算设备之后,这套开源的Jetbot智能无人车教学系统也随之而生,为市场提供一套最优性价比的教学系统,不仅结合时下最先进的深度学习智能识别系统,并且使用最精简的硬件元件,让总体搭建成本锁定在1,500人民币以内,相较于市面上动辄5,000元以上的搭建成本,Jetbot就显得十分亲民。
这个项目最早出现在NVIDIA GTC 2019年会上,现场演示了“避障”、“循路”与“遇障停止”等功能,吸引众多专业人士的眼球,因为Jetbot系统上只使用一个CSI摄像头,而没有其他任何距离传感设备(sensor),便能实现这些复杂的功能,这是相当神奇的一件能力,想先体验Jetbot的功能,可以在网上找到很多关于这个项目的视频,感受一下这套小车的强大。
相较于其他智能小车的,整个Jetbot小车大约只用了8个电子相关器件,以及20个左右的螺丝就能完成安装,如下图所示。其他小车都要使用两倍以上的元器件与螺丝,不仅成本差异非常大,并且组装过程十分繁琐。
此外,Jetbot用Jetson Nano(含2GB)将计算与控制集于一身,传统小车大部分是将这两部分交由两个处理设备来独立负责,主要是因为那些计算设备的性能,不足以顺畅地同时执行计算与控制两个工作,但这样的方式也会增加软件上的复杂度,也会影响系统的运行稳定性。
总的来说,Jetbot智能车学习系统不仅在“成本、易用、稳定”这三方面都有明显的优势,还兼备“智、能、美”三大特色于一身:
在接下去的Jetbot系列文章,就是为大家逐步揭开这个系统的神秘面纱,并引导读者一步一步地完成这个系统的搭建与实验,包括硬件系统组件的细节,以及软件系统的安装、调试与执行,毕竟这样一套作模拟无人车运作的系统,必须每个细节都处理到位,任何一个小地方的疏忽都会影响系统的正常操作。
本文的重点是先为大家剖析一下Jetbot的组成元件列表,并且将这些元件进行分类,这样有助于后面分项细节说明中,可以清楚每个类别所扮演的角色
这是Jetbot系统的核心,用NVIDIA Jetson Nano或2GB版本来担任,二者的机构尺寸与接口位置几乎一致,因此配套的装置是完全通用的。
Jetson Nano(含2GB)透过一组与树梅派兼容的40针扩展引脚,与电子控制设备进行互动,包括传送指令与接收信息,因此Jetson Nano(含2GB)也同时肩负着控制的功能,这样能非常有效地降低设备之间的交互复杂度。
Jetbot只使用一个CSI摄像头,完全模拟人类“视觉感知”的理解方法,用最先进的深度学习“图像分类”技术来识别前方的图像,因此不需要其他声纳、红外线、激光雷达之类的空间距离传感设备,这在现今还是非常独特的做法。
目前Jetson Nano(含2GB)支持IMX219芯片的摄像头,俗称“数梅派2代”摄像头,单价在100人民币左右。
支持M.2 Key-E与USB2/3等接口的无线网卡,前者主要以Intel 8265NGW芯片为主,后者可使用多种双频的USB网卡。
网络设备的重点是要与上位机控制台(例如笔记本)保持连线,除了一开始透过控制台对Jetbot下达指令之外,还有透过前面所提到的CSI摄像头进行数据集采集的任务,以及Jetbot运行是的监控。
这是个树梅派领域使用率很高的设备,因为这些边缘设备并不方便去接显示器,因此需要一个小显示屏来提供一些简单的信息,特别是这个设备目前的IP地址,以及CPU、内存使用率等简单信息。
这个元件如果是自行采购的话,可能需要一些基础焊接的工作,不过这个显示设备并非必要的元件,会在后面的内容中会进一步说明。
这部分由两个部分所组成:
由于Jetbot所使用的电器设备全部都是5V电压,因此可以使用市面上标准的充电宝就可以,不过受到车座所留给放置电源的空间,因此对于充电宝的宽带与高度是有要求的,并且需要两个以上的供电口。
熟悉电源供应的读者,也可以自行制作5V/3A输出的电源方案。
这个在Jetbot小车官网上有提供开源的3D打印文件,读者可以下载后自行打印,或者在淘宝上这方面的服务供应商去打印也可以。
如果自己有3D打印机,技巧好一点的还可以打出如下图的彩色底座。
但我们完成上述所有硬件的组装之后,就能去执行Jetbot所提供的以下4个开源项目以及2个Jetson Community比较有意思的开源项目:
接着就开启我们的Jetbot系列的内容,全程在Jetson Nano 2GB版上操作,带着大家一起轻松地玩转起来这套结构简单、成本亲民的无人车教学系统。[完]
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。