基于 NVIDIA Jetson 平台进行开发的 1 万多家公司现在可以利用全新的生成式 AI、API 和微服务来加快推进行业数字化
强大的生成式 AI 模型、云原生应用程序接口( API)和微服务已应用于边缘。
生成式 AI 正在将 Transformer 模型和大语言模型的强大力量带到各行各业,应用范围现已扩展到边缘、机器人和物流系统相关领域,如缺陷检测、实时资产追踪、自主规划和导航以及人机交互等。
NVIDIA 今日宣布,对适用于边缘 AI 和机器人的 NVIDIA Jetson 平台上的两个框架进行大规模扩展。NVIDIA Isaac ROS 机器人框架已全面上市,NVIDIA Metropolis 在 Jetson 平台上的扩展也即将推出。
为加速边缘 AI 应用的开发和部署,NVIDIA 还创建了一个 Jetson 生成式 AI 实验室,以供开发者利用最新的开源生成式 AI 模型进行开发。
目前,已有超过 120 万名开发者和 1 万多家客户选择了 NVIDIA AI 和 Jetson 平台,包括亚马逊云科技(AWS)、思科、约翰迪尔、美敦力、百事、西门子等。
随着 AI 领域的快速发展,其应用场景日益变得复杂,开发者在构建边缘 AI 应用时也面临着开发周期延长的挑战。为了实时满足客户不断变化的环境、生产线和自动化需求,需要反复对机器人和 AI 系统进行编程,这不仅非常耗时,还要求开发者具备足够的专业技能。
生成式 AI 所具有的“零样本学习”能力(即模型能够识别训练中从未见过的特定事物)和自然语言界面能够简化边缘 AI 的开发、部署与管理。
推动 AI 领域的变革
生成式 AI 通过理解人类的语言提示,对模型进行更改,从而极大地提高了易用性。这些 AI 模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活,并借此超越了基于卷积神经网络(CNN)的传统模型。
据 ABI Research 预测,到 2033 年,生成式 AI 将为全球制造业务增收 105 亿美元。
NVIDIA 嵌入式和边缘计算副总裁 Deepu Talla 表示:“生成式 AI 具有前所未有的泛用性、易用性和精确性,这将显著加快边缘 AI 的部署。我们在 Jetson 平台上对 Metropolis 和 Isaac 框架进行了有史以来规模最大的软件扩展,并结合 Transformer 模型与生成式 AI 的强大功能来满足这一需求。”
利用边缘生成式AI进行开发
NVIDIA Jetson 生成式 AI 实验室为 Jetson 开发者提供经过优化的工具和教程,用以部署开源大语言模型(LLM)、以交互方式生成惊艳图像的扩散模型、视觉语言模型(VLM)以及视觉 Transformer (ViT)。其中,ViT 结合了视觉 AI 和自然语言处理,可提供对场景的全面理解。
开发者还可以使用 NVIDIA TAO Toolkit,为边缘应用创建高效而精确的 AI 模型。TAO 提供了一个用于微调和优化 ViT、视觉基础模型等视觉 AI 模型的低代码接口。此外,还可以定制并微调 NVIDIA NV-DINOv2 等基础模型或 OpenCLIP 等公共模型,用很少的数据创建高度精确的视觉 AI 模型。现在,TAO 还推出了一个基于 Transformer 的新型缺陷检测模型 —— VisualChangeNet。
充分运用全新的 Metropolis 和 Isaac 框架
NVIDIA Metropolis 能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉 AI 解决方案,以改善至关重要的运营效率和安全问题。该平台提供了一系列功能强大的应用编程接口和微服务,供开发人员快速开发基于视觉的复杂应用。
包括宝马集团、百事、克罗格、泰森食品、印孚瑟斯和西门子在内的 1,000 多家公司正在使用 NVIDIA Metropolis 开发者工具,通过视觉 AI 来解决物联网(IoT)、传感器处理和运营方面的难题。NVIDIA Metropolis 开发者工具的采用速度日益加快,目前已被希望构建视觉 AI 应用的用户下载了 100 多万次。
为了帮助开发者快速构建和部署可扩展的视觉 AI 应用程序,NVIDIA Jetson 平台上的 Metropolis API 和微服务扩展集将在年底前推出。
数百家客户使用 NVIDIA Isaac 平台,在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。
在 ROSCon 2023 上,NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 软件的全新版本,对感知和模拟功能进行了重大改进。基于常用的开源机器人操作系统(ROS)的 Isaac ROS,为自动化带来了感知能力,让移动的物体有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所拥有的强大功能(包括视觉里程测量、深度知觉、3D 场景重建、定位和规划等),机器人开发者就拥有了为不同应用快速定制机器人解决方案所需要各种的工具。
随着 Isaac ROS 2.0 最新版本的发布,Isaac ROS 已达到生产就绪状态,能够帮助开发者使用 Jetson 平台创建并推出高性能机器人解决方案。
开源机器人基金会首席技术官 Geoff Biggs 表示:“ROS 在不断发展进化,并为整个机器人社区提供开源软件。NVIDIA 此次版本中全新预构建的 ROS 2 软件包将助力广大 NVIDIA Jetson 开发者社区随时使用 ROS 2,从而加速这一发展。”
提供新的 AI 工作流参考
为开发生产级 AI 解决方案,需要开发和训练针对特定用例定制的 AI 模型,在平台上实现强大的安全功能,编排应用,管理机队,建立边缘到云的无缝通信等。
NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精选 AI 工作流参考,帮助开发者快速采用整个工作流或有选择性地集成独立的部分,从而大幅减少开发时间和成本。三个 AI 工作流包括: 网络视频录制、自动光学检测和自主移动机器人。
Tirias Research 首席分析师 Jim McGregor 表示:“NVIDIA Jetson 凭借其广泛而多样化的用户群与合作伙伴生态,助推了边缘机器人和 AI 革命。随着应用需求的日益复杂化,我们需要从根本上转向能够简化和加速边缘部署创建的平台。NVIDIA 的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式 AI 功能。”
更多精彩即将呈现
NVIDIA 推出了一系列系统服务,为每个开发者提供在构建边缘AI解决方案时必不可少的基本功能,简化与工作流的集成,使他们不必再费时费力地从头开始构建这些服务。
全新 NVIDIA JetPack 6 将于今年年底推出,AI 开发者将无需全面升级 Jetson Linux 就能保持在计算领域的最前沿,从而大幅加快开发进度,不再依赖 Jetson Linux。JetPack 6 还将通过与 Linux 发行版合作伙伴的合作,扩大基于 Linux 的发行版的选择范围,包括 Canonical 的优化及经过验证的 Ubuntu、Wind River Linux、并行实时 Redhawk Linux 以及各种基于 Yocto 的发行版。
合作伙伴生态系统受益于平台扩展
Jetson 合作伙伴生态系统提供了从硬件、AI 软件和应用设计服务到传感器、连接和开发者工具的广泛支持。这些创新的合作伙伴作为 NVIDIA 合作伙伴网络(NPN)中的一部分,是为市场上在售的众多产品提供构件和子系统的中坚力量。
最新版本通过采用更多具有更强性能与功能的 AI 技术,将助力 Jetson 合作伙伴加快产品上市并扩大客户群。
独立软件供应商合作伙伴也将能够为 Jetson 提供更多产品。
欢迎参加 NVIDIA 于 2023 年 11 月 7 日(星期二)上午 9 点举行的“利用 NVIDIA Jetson 实现生成式 AI”网络研讨会,届时技术专家将深入探讨在此发布的新闻,包括在 Jetson 上利用 TensorRT 优化视觉 Transformer 部署 LLM 和 VLM 的加速 API 和量化方法等更多内容。
点击此处注册获得 NVIDIA Metropolis 早期访问权限。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。