相信看过《流浪地球2》的朋友一定对其中的各种机器人印象深刻,带有机械臂的巡检机器人自主操作监测指标,保障空间站人员生命安全;地球联合政府会议厅,机器人驻守一旁辅助人类科学决策;北京航天中心数据中心,巡检机器人支撑着海量数据平稳运作;行星发动机机库中,移动机器人有条不紊地搬运传送着物料……
其实在现实生活中,在高性能边缘计算芯片和人工智能的加持下,机器人,正在从实验室走向商业落地。对于工程师而言,抓住机器人领域的快速发展的机会,才能立于不败之地。
边缘AI和机器人应用开发正当时
边缘人工智能已成为一个重要的增长市场。从技术发展方面看,芯片和软件技术的迭代一定程度推动了边缘AI的发展。过去芯片的算力无法满足边缘AI应用,同时软件配置通常是利用专家系统或者是基本机器学习系统来实现AI功能。
但是现在随着深度学习软件上的发展,以及高算力、低功耗的边缘处理器的普及,边缘AI在技术支持层面也得到了更好的发展。
与此同时,人工智能和机器学习应用程序的加入增加了垂直领域边缘部署的复杂性。从自主移动机器人、零售、智慧城市、农业、物流、制造到医疗保健,各个行业都在为边缘技术注入大量人工智能。
开发机器人是一项涉及多学科的工作。机械工程师、电气工程师、计算机科学家和AI工程师齐聚一堂,携手打造机器人。
目前已经有不少AI框架已经逐步支持端侧AI了,也有芯片厂商推出来面向AI的开箱即用的工具。例如依托Jetson平台,NVIDIA打造云原生软件堆栈、预先训练的模型、应用程序框架和不断发展的生态系统来简化边缘AI和机器人应用开发,从而实现快速上市。
NVIDIA Jetson让边缘AI和机器人应用开发易如反掌
NVIDIA Jetson是面向边缘计算的人工智能平台,适用于自主机器和其他嵌入式应用程序。而NVIDIA Jetson Nano是一款面向嵌入式和边缘人工智能市场的低成本入门级人工智能计算机。
NVIDIA Jetson Nano可以并行运行多个神经网络,用于图像分类、对象检测、分割和语音处理等应用。所有这些都被打包到一个易于使用的平台中,该平台的功耗仅为5瓦。
同时,NVIDIA还提供了Jetson Nano开发套件,以令人惊叹的速度轻松设置和运行现代人工智能算法。
从预测公交车到达时间到实时国际象棋游戏分析,从基于AI的音乐合成器到实验室设备的自动视觉警报系统, Jetson开发人员可以使用Jetson Nano开发套件发现AI的各种功能。
比如明尼苏达大学的研究人员开发了一种neuroprosthetic hand,它使用基于递归神经网络(RNN)的AI模型来读取和解码截肢者从周围神经活动中移动手指的意图。AI模型使用NVIDIA Jetson Nano作为便携式独立单元进行部署。
开发者Arthur Findelair演示了如何增强无人机的计算机视觉能力,并使用Jetson Nano的计算能力实现了无人机的手势控制。
NVIDIA Jetson的创新永无止境
NVIDIA正在继续增强Jetson系列,在2022年秋季GTC上发布的 Jetson Orin Nano系列为入门级 AI 设定了新标准。
Orin Nano模组在外形和引脚上与之前发布的Orin NX模组完全兼容。用户使用AGX Orin开发者套件开发适合Orin Nano系列的应用,能够灵活地设计一个系统来支持多个Jetson模组并轻松扩展其应用。
Orin Nano通过高速I/O和NVIDIA Ampere架构GPU支持多个并发AI应用流水线。零售分析、工业质量控制等入门级设备和应用的开发者将能够以较低的成本更容易地获得更复杂的AI模型。
Orin Nano模组将分为两个版本:Orin Nano 8GB提供最高40TOPS性能,功率为7W至15W;4GB版本提供最高20TOPS性能,功率仅为5W至10W。
Orin Nano得到了NVIDIA JetPack SDK的支持并由NVIDIA CUDA-X加速计算堆栈驱动。该计算堆栈也被用于创造工业物联网、制造业、智慧城市等领域的开创性AI产品。
目前,NVIDIA活跃的Jetson生态系统正在迅速发展。该生态系统已拥有超过100万名开发者、6000名客户、2000家初创企业和150家合作伙伴。Jetson合作伙伴提供从AI软件、硬件和应用设计服务到摄像头、传感器和外设、开发者工具以及开发系统等各类支持。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。