近几周,SmartCow AI模拟团队通过真实案例探索出了一套数字孪生路径,希望帮助企业了解如何借助虚拟环境设计出更好、更智能、更高效的真实空间。
这一切,都将在数字孪生这一前沿技术的支持下逐步完成。作为一种大规模模拟系统,数字孪生能够在虚拟环境中建立起与现实物体或流程精确对应的副本。
数字孪生的概念最初诞生于1991年,出自David Gelernter的《镜像世界》,他在其中写道:
“镜像世界是一片信息的海洋,由许多数据流共同构成。一部分数据流代表着在计算机终端上手动输入的数据,它们徐徐流动;也有部分数据流源自数据收集与监控设备的自动获取,例如医院重症监护室仪器、天气监控设备、安装在道路上的交通流量传感器等。”
到世纪之交,Michael Grieves博士开始将数字孪生的概念引入软件和现实生活。到2010年之后,NASA的John Vickers正式提出“数字孪生”一词。如今,数字孪生系统如雨后春笋般涌现,负责监控各类数据结构、从真实场景中采集信息,并据此提炼出有助于特定目标的宝贵知识。
数字孪生强在哪里?
SmartCow AI模拟团队发现,数字孪生的最大优势之一就是良好的通用性。如果能够在3D环境中重现现实空间,自然也可以灵活移动其中的对象、或者调整具体条件,完全不必担心对现实世界中的对象造成影响。
这就让大规模流程观察与分析成为可能,同时也把测试成本控制在极低的水平。而且既然是出现了意外状况、或者测试未能按计划正常进行,也可以随时重置数字孪生副本。
该团队一直致力于打造自己的数字孪生环境,希望探索智慧城市与智能空间应用。在这套系统中,SmartCow AI模拟团队打算引入数据可视化并据此开展研究,并把收集到的数据反馈回现实世界。最后用这些数据来模拟现有数据中不存在、但在现实场景下可能发生的各类情况。
自己动手,完成数字化建模
数字孪生就是一套基于真实物理空间的3D系统,所以该团队打算以比利时安特卫普的一个十字路口为起点,把这里的建筑、植物、路灯和交通系统通通搬进虚拟世界。
数字孪生中的所有场景资产都由3D建模软件进行创建。之后,使用渲染引擎进行可视化。为了降低开发难度,团队选择了英伟达Omniverse平台作为主渲染引擎,能够提供极强的GPU实时渲染能力。下面是通过构建管道开发出的,能支持实时天气与昼夜循环的数字孪生模型:
SmartCow小教程:如何在数字孪生中建立天气系统
先从3D建模阶段起步,这是复杂度最高、也最耗时的过程。场景中的每个项目都需要用大量多边形进行建模,应用正确的纹理贴图和/或材质,并与周边对象保持统一。其中的大部分资产都由专职3D艺术家创建而成。
在制造这些资产时,SmartCow采取了标准化的建模流程:先在3D空间中创建出由平面四边形构成的资产几何图形,相当于绘画时先确定大小关系和场景结构。其间,还特意选择了易于拆分成三角形的几何图形,这是因为三角形在渲染后更能维持目标物体的准确整体形状。之后SmartCow又定义了UV贴图,并为每个UV贴图应用相应的纹理。虚拟场景中的数字副本必须跟现实对应物1:1还原,所以要特别注意对象间的空间关系。一旦比例错误,场景的沉浸感和视觉保真度都会大打折扣。
几何图形的细节水平也非常重要。高保真几何图形视觉效果更好,沉浸感也更出色,但运行速度较慢且会占用大量存储空间。
超现实风3D圆桌。
下一步就是在模拟/渲染程序中实现所有3D数据,之后将手绘的3D纹理配置到资产的材质当中。接下来,把各个对象放置在与现实场景相对应的正确位置上。空场景创作完成,舞台就算搭建完成了,然后就是引入数据流和模拟功能。
所有资产集合于一处,数字孪生正式启动!
在功能方面,SmartCow构建的环境已经能够支持多种实时天气效果,包括但不限于:
为了实现这么多种天气变化,SmartCow把每种天气条件定义成相应的配置文件,其中分别包含模拟天气(例如下雪或下雨)的粒子效果和光照条件。如此一来,数字孪生环境就能在下雨时通过正确的光线组合提供更柔和昏暗的光照,并在晴天时呈现出更加明亮饱和的视觉效果。
为了更进一步,SmartCow还决定从最近发布的CityStation产品中获取实时天气数据。通过团队编写的自定义连接器,CityStation中的数据被摄取并解析至数字孪生环境中,进而根据条件激活正确的天气配置文件。这样外面的天气与孪生环境里就完全一样了。
也正是因为有了这些实时数据,SmartCow的视觉保真度提升才有实际意义。作为环境增强的另一套解决方案,SmartCow用类似于天气变化的设置实现了昼夜循环,包括对应不同日期下太阳和月亮的轮廓和位置。根据具体时间,标准太阳高度公式将始终呈现出正确的日月位置,甚至连日出日落的视觉效果也都能呈现到位。
后续还可以添加更多功能,例如车辆交通系统、行人交通系统、行人计数系统等等。
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。