硬件设计师在这场技术盛会上展示基于Jetson AGX Orin的边缘AI和嵌入式计算系统。
本周,全球30多家领先的技术合作伙伴在Computex上发布了首批基于NVIDIA Jetson AGX Orin的生产系统。
这些新产品来自十几家台湾地区的摄像头、传感器和硬件供应商,将被用于边缘AI、AIoT、机器人和嵌入式应用。
NVIDIA Jetson AGX Orin开发者套件自3月的GTC大会开始在全球全面上市,该套件可提供每秒275万亿次运算性能。在针脚兼容性与外形尺寸相同的情况下,其处理能力超过前代产品NVIDIA AGX Xavier 8倍。
Jetson Orin具有NVIDIA Ampere架构GPU、Arm Cortex-A78AE CPU、下一代深度学习和视觉加速器、高速接口、更快的内存带宽并支持能够为多个并发AI应用管道提供数据的多模态传感器。
全新Jetson AGX Orin生产模块为边缘AI带来服务器级的性能。该模块将于7月上市,Orin NX模块将于9月上市。
NVIDIA嵌入式和边缘计算副总裁Deepu Talla表示:“全新Jetson AGX Orin正在大幅提升下一代机器人和边缘AI应用的性能。我们的生态系统合作伙伴相继发布基于Jetson Orin的生产系统并为特定的行业和用例定制各种外形尺寸,这将继续推动这款产品加速发展。”
强大的产品和合作伙伴生态系统
此次大会上发布的Jetson产品包括服务器、边缘设备、工业PC、载板、AI软件等。这些产品将推出有风扇和无风扇配置并且提供多种连接和接口选项,还会加入适用于机器人、制造、零售、运输、智慧城市、医疗等重要经济部门或加固型应用的规格。
此次发布产品的厂商包括NVIDIA合作伙伴网络中的中国台湾公司,如研扬、凌华、研华、安提、英研智能移动、欣普罗、圆刚科技、艾讯、慧友、宸曜科技、医扬科技和超恩。
其他在全球推出全新Jetson Orin解决方案的NVIDIA合作伙伴包括:Auvidea、宝视纳、Connect Tech、D3 Engineering、Diamond Systems、e-Con Systems、Framos、英飞凌、ITANZI、沥拓科技、Leopard Imaging、米文动力、Mist Elektronik、移远通信、RidgeRun、Sequitur、Silex、SmartCow、Stereolabs、Syslogic、瑞泰新时代和天准科技等。
Jetson开发者突破百万
如今,超过 100 万开发人员和 6,000 多家公司正在 NVIDIA Jetson 边缘 AI 和机器人计算平台上构建商业产品,以创建和部署自主机器和边缘 AI 应用程序。
不断壮大的Jetson合作伙伴生态系统已拥有150多名成员,包括AI软件、硬件和应用设计服务、摄像头、传感器和外设、开发者工具以及开发系统领域的专业公司,因此能够提供全方位的支持。由Jetson AGX Xavier驱动的AAEON BOXER-8240在今年荣获COMPUTEX 2022最佳选择金奖。
开发者正在Jetson AGX Orin开发者套件上构建可无缝部署在生产模块上的下一代应用。Jetson AGX Orin用户可以使用NVIDIA CUDA-X加速计算堆栈、NVIDIA JetPack SDK和最新NVIDIA工具开发和优化应用,包括云原生开发工作流程。
全方位的软件支持
通过Jetson Orin,开发者能够部署强大、复杂的模型来解决自然语言理解、3D感知、多传感器融合等领域的边缘AI和机器人挑战。
TIRIAS Research首席分析师Jim McGregor表示:“作为AI领域公认的领导者,NVIDIA不断发挥自己的技术专长,通过强大的生态系统和完整的端到端解决方案,比如各种运用通用工具和神经网络模型的硬件平台来推动机器人技术的发展。”
他表示:“全新Jetson平台带来NVIDIA Ampere架构的高性能和多功能性,进一步推动自主移动机器人领域的进步。这些机器人被广泛应用于从农业和制造业到医疗和智慧城市等多种领域。”
NVIDIA NGC目录中的预训练模型经过优化,随时可以使用NVIDIA TAO工具套件和客户数据集进行微调。这不仅降低了生产级AI的部署时间和成本,而且还可以凭借云原生技术实现整个产品生命周期内的无缝更新。
为了满足特定用例的需求,NVIDIA软件平台加入了:用于机器人技术的NVIDIA Isaac Sim on Omniverse;用于构建语音AI应用的GPU加速SDK——Riva;用于AI多传感器处理、视频、音频和图像理解的串流分析工具包——DeepStream;以及通过整合视觉数据与AI提高行业运营效率和安全的应用框架、开发者工具组与合作伙伴生态系统——Metropolis。
好文章,需要你的鼓励
这项研究由德累斯顿工业大学等机构的研究团队完成,旨在解决主动学习未被广泛应用的问题。研究者构建了包含460万种超参数组合的实验网格,系统分析了各参数对主动学习性能的影响。研究发现,不同策略实现间存在显著差异,基于边缘的不确定性策略整体表现最佳,随机选择约4000个超参数组合即可获得可靠结果。这些发现为设计可重现、可信赖的主动学习实验提供了明确指导,有助于降低入门门槛,促进技术在实际应用中的普及。
这项由英国爱丁堡大学和上海人工智能实验室研究者共同完成的工作提出了LongBioBench,一种用于评估长文本语言模型的新型基准测试框架。通过使用人工生成的虚构人物传记作为测试环境,该框架在保持可控性的同时,提供了更真实的评估场景。研究对18个长文本模型的测试表明,即使最先进的模型在检索、推理和可信任性方面仍存在显著挑战,特别是上下文长度增加时。研究还揭示了现有合成基准测试的设计缺陷和长上下文预训练的局限性,为未来模型开发提供了重要指导。
SuperWriter是一项来自新加坡科技设计大学和清华大学的突破性研究,通过模仿人类"先思考后写作"的过程,彻底改良了AI长文生成能力。该研究团队开发的框架包含三个关键阶段:规划、写作和修改,使AI能像专业作家一样进行结构化思考。实验结果表明,经过训练的SuperWriter-LM模型不仅超越同等规模的所有AI模型,甚至在某些领域表现优于规模更大的顶级模型,为AI辅助写作开创了新的可能性。
香港大学与阿里巴巴达摩院合作开发的LayerFlow是一种突破性的层级视频生成技术,能同时生成透明前景、完整背景和混合场景视频。该技术通过创新的框架设计将不同视频层级作为子片段连接,并引入层级嵌入使模型区分各层级。面对高质量训练数据稀缺的挑战,研究团队设计了三阶段训练策略,结合Motion LoRA和Content LoRA,实现了图像和视频数据的联合训练。LayerFlow不仅支持多层视频生成,还能实现视频分解和条件层生成,为视频创作领域带来革命性变革。