各个行业的开发人员正在构建 3D 工具和应用程序,以帮助团队在艺术、设计、制造等领域创建虚拟世界。NVIDIA Omniverse 是一个可扩展平台,可以用来进行全保真设计、模拟以及开发基于 USD 的工作流程。该平台有一个不断扩大的开发者生态系统,其中的开发者们正在构建基于 Python 的扩展程序。NVIDIA 过去曾发起过一个使用 Omniverse Create 应用构建惊艳 3D 模拟的比赛。
NVIDIA 现已宣布举办首届专为开发者、工程师、技术艺术家、业余爱好者和研究者打造的 NVIDIA Omniverse 比赛,参赛者需要开发用于 3D 世界的 Python 工具。本次比赛从 2022 年 7 月 11 日持续到 8 月 19 日。总冠军将获得一块 NVIDIA RTX A6000,每个类别的亚军将获得一块 GeForce RTX 3090 Ti。
比赛的内容是使用 Omniverse Kit 和以开发者为中心的 Omniverse 应用——Omniverse Code 构建一个 Omniverse 扩展程序。参赛者可以创建以下的 Python 扩展程序来参加 Extend the Omniverse 比赛:
布局和场景创作工具
对 3D 内容和环境的需求呈指数级增长。布局和场景创作工具有助于扩展用于世界构建的工作流,充分利用基于规则的算法和人工智能来生成资产。
创作者可以使用更多种类的笔触绘制和自动生成书籍、灯具或栅栏等实物来填充场景,不需要繁琐地手动放置每个组件。由于能够更自由地迭代布局和场景,创作者可以加快他们的工作流程并腾出时间来专注于创作。
Universal Scene Description ( USD )是参赛者可以在 Omniverse 中开发的布局和场景创作工具的基础。这个强大、易于扩展的场景描述可以处理稳定地庞大的 3D 数据集,支持 3D 世界中的创建、编辑、查询、渲染和协作。
带有 Omniverse 工具包的 Omni.ui
精心设计的用户界面为艺术家和开发者提供了卓越的体验。它们可以提高生产力,并使非技术和技术用户能够利用复杂算法的力量。
Omni.ui 是一个用于创建美观、灵活图形 UI 设计的 Omniverse UI 工具包,它让自定义用户界面的构建变得前所未有的简单。Omni.ui 使用现代异步技术和 UI 设计模式设计,因此具备反应性和响应性。
用户可以使用 Omniverse Kit 中用于创建可视组件、接收用户输入和创建数据模型的小部件,来深度定制应用程序的最终外观。它的样式表架构类似于 HTML 或 CSS ,因而用户可以更改小部件的外观或为整个应用程序创建新的配色方案。
用户可以组合现有的小部件,并定义新的小部件来构建想要的界面。这些扩展包括导航栏中的浮动面板以及 Omniverse View 和 Showroom 中的标记工具。用户还可以创建数据模型、视图和委托,以构建强大、灵活的界面。
场景修改器和操控工具
场景修改器和操控工具为艺术家提供了与他们的场景互动的新方法。无论是改变物体的几何形状、场景的照明,还是创建动画,这些工具让艺术家只需要进行很少的手动操作就能修改和操作场景。
用户可以使用用于在 3D 空间中构建 UI 的低代码模块 omni.ui.scene 开发 3D 小部件和操控器,并使用 Python 在 3D 投影场景中创建和移动形状。还可以使用许多原始对象,包括文本、图像、矩形、弧线、直线、曲线和网格等。NVIDIA 正在定期添加更多的对象。
NVIDIA 迫不及待地想看看用户将创建哪些扩展来为这个扩展程序生态系统锦上添花,进一步扩大 Omniverse 的可能性。进一步了解比赛,访问 GitHub 比赛页面获得入门所需的示例代码和其他资源。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。