实现具身智能 NVIDIA在COMPUTEX 2023上展示工业数字化最佳实践 原创

AI对产业的影响是巨大的，比如现在火热的生成式AI。NVIDIA创始人兼CEO黄仁勋表示，人工智能的下一个浪潮是具身智能。所谓具身智能，是将智能算法与机器人的感知、行动和环境交互能力相结合，使机器能够以更自然、更智能的方式与环境进行交互并完成各种任务。

在COMPUTEX 2023上，黄仁勋展示了众多领先企业如何利用NVIDIA技术打造新的综合参考工作流程来推进其工业数字化进程。

这套流程将融合NVIDIA的生成式AI、3D协作、仿真模拟和自主机器技术：可连接顶尖计算机辅助设计（CAD）应用以及生成式AI应用程序接口（API）和先进框架的NVIDIA Omniverse；用于仿真和测试机器人的NVIDIA Isaac Sim应用；以及可用于自动光学检测的NVIDIA Metropolis视觉AI框架。

富士康工业互联网、宣鼎、和硕、广达和纬创正在使用新的参考工作流程来优化其工作间和装配线的运营，同时降低生产成本。

例如，纬创正在使用NVIDIA Omniverse以及Autodesk AutoCAD、Autodesk Revit和FlexSim的输入数据，为其自动化接收线路和操作间构建数字孪生。纬创还使用NVIDIA Metropolis的AI计算机视觉技术来实现电路板光学检测的自动化。

此外，NVIDIA还发布了一个新平台，以支持下一代自主移动机器人（AMR）车队。Isaac AMR可以帮助模拟、部署和管理自主移动机器人车队。

01 NVIDIA机器人技术优化自动光学检测（AOI）

全球电子制造业总值达46万亿美元，工厂数量超过1000万，而生产没有缺陷的产品对这些工厂至关重要。

全球制造商每年要在质控上花费超过6万亿美元，几乎在每条产品线上都采用了缺陷检测的手段，但人工检测无法跟上需求。

许多制造商使用自动光学检测（AOI）系统帮助进行检测，但这些系统的误检率往往很高，在已经充满挑战的劳动力市场中需要劳动密集型且成本高昂的二次手动检测，这无疑降低了AOI的价值。

自动光学检查（AOI）可以帮助制造商更快地识别缺陷，向全球客户交付高质量的产品。NVIDIA Metropolis视觉人工智能框架现已支持AOI，还可用于优化从汽车到电路板等产品的检测工作流程。

02 达明多项创新举措缩短20%的AOI检查周期时间

达明使用Isaac Sim模拟、测试并优化其最先进的协作机器人，将AOI集成到工厂车间中的机器人中，同时在机器人上使用NVIDIA AI和GPU在云端进行推理训练。

达明机器人AOI解决方案的独特之处，包括检测摄像头是直接安装在铰接式机器人臂上的，并将GPU集成在机器人控制器上。

这种方式使机器人能够检查到固定摄像头无法覆盖的产品区域，也可以在边缘使用AI即时检测缺陷。

但对这些机器人的运动进行编程是一项十分耗时的工作。开发人员必须确定机械臂的精准位置以及最高效的活动顺序，从而尽快捕捉可能出现的数百幅图像。

这可能需要花费几天的时间，探索数以万计的可能性，才能确定一项最佳解决方案。达明使用 Omniverse在Isaac Sim中建立了检测机器人和待检测产品的数字孪生。

相比对真实机器人进行手动编程，在模拟中对机器人进行编程的花费时间减少了70%以上。使用精确的3D产品模型，在真正的产品生产之前就可以在数字孪生中开发应用，从而节省生产线上的宝贵时间。

通过使用Isaac Sim中的强大优化工具，达明可在NVIDIA GPU上同时探索许多的程序选项。达明最终找到了一个可将每次检查周期时间缩短20%的高效解决方案。

收集和标记真实世界的缺陷图像成本高且耗时长，因此达明转向使用合成数据以提高检查质量，使用Omniverse Replicator框架来快速生成高质量的合成数据集。这些被精心标记的图像被用来训练云端的AI模型，极大地提高了模型性能。

03 和硕使用全套Metropolis工作流程实现高AOI准确率

除了达明，和硕正在使用全套Metropolis工作流程，支持印刷电路板（PCB）工厂的模拟、机器人和自动化生产检测。通过Metropolis，这家电子制造巨头能够从小型数据集开始快速更新缺陷检测模型，并使AOI系统的准确率达到99.8%。

和硕生产从主板到智能手机、笔记本电脑和游戏机等各类产品。该公司拥有12座工厂，每天处理300多种产品和5000多个零件，需要完成大量产品质控工作。此外，由于产品更新频繁，需要不断对其AOI系统进行修改。

和硕使用NVIDIA Isaac Sim（一种机器人模拟器）对机械臂进行模拟编程，并对其移动机器人车队的性能进行建模。

NVIDIA Omniverse Replicator提供的合成数据生成功能可用于模拟缺陷，帮助和硕使用域随机化等技术建立大规模训练数据集。

在Metropolis中，和硕可以使用NVIDIA TAO工具套件访问预训练模型并进行迁移学习，以便运用其经过增强的数据集，建立高精度的缺陷检测模型。

NVIDIA DeepStream软件开发套件可用于开发可处理多个视频、图像和音频流的优化智能视频应用程序。使用DeepStream，和硕能够将吞吐量提高10倍。

此外，和硕还使用Omniverse运行检测设备的数字孪生，模拟未来的检测流程，提高生产流程的效率。

04 持续壮大的Metropolis生态系统

NVIDIA Metropolis是一个工厂自动化工作流程的集合，它使工业技术公司和制造商能够开发、部署和管理具有竞争优势的自定义质量控制系统。

Metropolis可以从企业工业边缘部署到云端，庞大且不断发展的合作伙伴生态系统正在帮助将其推向市场。

大批专业人士正在共同努力推动这项工作的进展，包括传感器制造商、应用合作伙伴、检测设备制造商和集成合作伙伴。

成像组件传感器和系统领先制造商Basler与NVIDIA进行合作，帮助开发人员通过与NVIDIA DeepStream SDK更加紧密地集成以更快地构建支持AI的检测系统。

Quantiphi采用了Metropolis，正在与世界上最大的饮料生产商之一合作，通过GPU驱动的视觉AI实现对满载托盘的自动检查。

Overview和研华都采用了NVIDIA Metropolis，并且正在合作构建一个基于AI的实时检测系统，以进行工业检测、产品计数和装配验证。

同样采用了Metropolis的西门子和Data Monsters正在合作构建工业检测系统，这个系统将Omniverse Replicator合成数据生成，NVIDIA TAO培训，DeepStream运行时和西门子的NVIDIA Jetson驱动的工业个人计算机结合在一起。

05 NVIDIA全栈架构赋能工业企业

NVIDIA正在与数家领先的工具制造和服务提供商一同在各个工作流程层面建立统一的全栈架构。

在系统层面，NVIDIA IGX Orin提供了一个将工业级硬件与企业级软件和支持相结合的一体化边缘AI平台。IGX满足了边缘计算独特的耐久性和低功耗要求，同时提供了开发和运行AI应用所需的高性能。

制造商合作伙伴凌华科技、研华、安提国际、Dedicated Computing、Prodrive Technologies和Yuan正在为工业和医疗市场开发由IGX驱动的系统，这些系统能够为实际生产带来数字化优势。

在平台层面，Omniverse与全球领先的3D、模拟和生成式AI提供商相连接，这个开放的开发平台可以让团队在他们喜爱的应用之间建立互操作性，比如来自Adobe、Autodesk和西门子的应用。

在应用层面，Isaac Sim使企业能够构建并优化部署AI机器人。制造商可以与工业自动化公司READY Robotics合作，在将机器人部署到现实世界之前，在仿真中对机器人任务进行编程。SoftServe和FS Studio等仿真技术合作伙伴通过构建基于数字孪生的仿真，为客户缩短开发时间。

另外，在应用层面，NVIDIA Metropolis中的一系列工厂自动化AI工作流程使工业方案商和制造商能够开发、部署和管理降本提效的定制化质量控制解决方案。包括凌华科技、安提国际、德勤、Quantiphi和西门子在内的庞大合作伙伴生态正在帮助推广这些解决方案。

06 结语

在生成式AI、3D协作、仿真模拟和自主机器技术的驱动下，制造业原有的工作流程正在改变，而NVIDIA提供全栈架构帮助制造业企业拥抱新革新，推动数字化转型。