包含Isaac应用程序、GEM、Robot Engine和Sim的机器人开发者工具箱即将问世。
机器人开发者正在夜以继日地打造未来的自主机器。
NVIDIA Isaac SDK将为其提供加速助力。该SDK旨在加速创新和部署,不久将作为一款免费的机器人开发者工具箱问世。
NVIDIA创始人兼首席执行官黄仁勋在GPU技术大会的演讲台上宣布了这一消息。
机器人打造工程是一个历史难题。由于缺乏统一且易于使用的软硬件平台,实现机器人智能的进程一直停滞不前。直到近日,大规模开发机器人仍需通过自定义编程来模拟机器人的运转过程。
Isaac SDK机器人开发者工具箱使这种情况得到了改善,会在四月全面推出。
借助该工具箱,开发者将能够使用 Isaac应用程序、GEM(机器人功能)、Robot Engine(机器人引擎)和Sim。该工具箱可以更轻松地向新一代机器人添加用于感知、导航和操作的AI,为制造商、研究人员和初创公司节省数百小时的时间。
工具箱的核心是Isaac Robot Engine(机器人引擎),开发者可借此引擎轻松构建部署于Jetson平台(包括我们的机器人参考设计)的高速模块化机器人应用程序。
工具箱内还拥有20多个GEM,可为导航和感知算法等棘手的机器人问题提供即插即用功能。GEM是必不可少的机器人算法基础模块,专为NVIDIA Jetson AGX平台构建和优化。
过去,业界缺少一种基于生态系统构建、由达到行业标准的可信赖软硬件构成的完整平台。
为帮助实现此目标,我们现已将机器人硬件参考设计设为开源资料。
借助 Isaac SDK 机器人开发者工具箱,开发者可创建适用于自主配送和物流机器人Carter的应用程序。该机器人基于Jetson AGX Xavier构建而成。
各种规模的企业均可使用此工具箱构建应用程序,从而使机器人能够自主导航并移动物体。
研究人员和业余创客也可使用此开发者工具箱创建适用于机器人Kaya的应用程序,从而打造自主机器。Kaya基于性价比更高的Jetson Nano构建而成。
Jetson Nano共有两个版本:一版是99美元的开发者套件,可作为创客、开发者、学习者和学生的理想之选;另一版是129美元的生产就绪型模块,主要面向大众市场中需在终端配备动力的AI产品。
价格实惠并不意味着运算性能降低。事实上,Nano内部能够为运行AI工作负载提供472GFLOPS的计算性能。
Jetson Nano开发者套件现已上市。Jetson Nano模块将于2019年6月推出。
GEM是必不可少的机器人算法基础模块,专为NVIDIA Jetson AGX平台构建和优化。举例来说,GEM能帮助开发者轻松添加障碍物躲避、激光雷达定位、路线规划和地图创建等SLAM导航功能,以及语音命令检测等人机交互功能。
Isaac Robot Engine(机器人引擎)提供了一种框架,可帮助开发者轻松编写模块化应用程序,以便在机器人身上部署。我们已优化Isaac Robot Engine,可助力整个 NVIDIA Jetson系列(Jetson AGX Xavier、Jetson TX2 和 Jetson Nano)以及GPU驱动的工作站发挥出色性能。
Isaac Robot Engine可为用户提供所需的高级监控和调试功能,帮助其构建复杂且高度并行的计算图形。该引擎包括以下功能:记录和回放传感器数据、高效内存管理以及基于 Web 的实时可视化。
Isaac Sim允许开发者在模拟环境中测试机器人,从而免于造成破坏。完成测试后,您便可在基于Jetson运行的机器人上部署应用程序。
Isaac SDK能够实现高保真模拟和高级实时渲染,从而助您轻松完成这项任务。Isaac Sim与此工具箱中的工具和框架紧密结合,能够轻松实现与机器人之间的数据及算法传输,而这正是在时间紧迫下加速机器人开发的关键。
Isaac Sim是一个虚拟的机器人实验室,也是细节丰富的3D世界模拟器。相较于无模拟情形,它能为未来机器人的研究和设计节省更多时间与成本。
不久的将来,机器人将无处不在,那时也将有许多人会与机器人一起工作、一起生活。出于安全要求,我们需要以更好的新方法来设计和测试机器人系统。
借助Isaac Sim,我们即可在几分钟内便可完成本需耗时数月的工程及测试过程。
Isaac SDK将于四月正式开放下载通道。关于参考设计的其他详细信息不久也会公布。
好文章,需要你的鼓励
VMware宣布将终止现有渠道合作伙伴计划,新计划采用邀请制,大幅减少授权合作伙伴数量。未受邀合作伙伴将于2025年7月15日收到不续约通知,可继续交易至10月31日。白标计划也将同时终止。此举是18个月内VMware第二次重大合作伙伴调整,旨在专注与少数核心云服务提供商深度合作。客户可能面临续约困难、服务质量下降和成本上升等影响。
StepFun公司推出的Step1X-Edit是首个能够媲美GPT-4o和Gemini2 Flash等商业模型的开源图像编辑AI。该模型通过整合多模态语言理解和扩散图像生成技术,能够处理11种编辑任务,在新构建的GEdit-Bench基准测试中表现优异,为图像编辑技术的民主化开辟了新道路。
谷歌DeepMind和伦敦大学学院研究发现,大语言模型在面对反驳时会迅速失去信心并改变答案,即使反驳是错误的。研究显示LLM既会对自己的答案过度自信,又对批评异常敏感,表现出与人类相似但又独特的认知偏差。这种行为对多轮对话AI系统构成威胁,最新信息可能对LLM推理产生不成比例的影响。
BluOrion公司开发的ZClip是一种智能梯度裁剪算法,解决了大型语言模型训练中的梯度爆炸和损失飙升问题。通过Z分数统计检测和动态调整策略,ZClip能够自适应地控制梯度幅度,相比传统固定阈值方法提升训练效率35%以上,同时显著降低训练失败风险,为大模型训练提供了更稳定、高效的解决方案。