继AlhpaGo在围棋比赛中战胜人类之后,业界又在AIGC(AI Generated Content,AI生成内容)领域取得了一系列新突破。AI绘画《太空歌剧院》击败人类作品,拿到数字艺术比赛冠军,聊天对话机器人ChatGPT的综合文本创作能力已明显超过普通人。
AIGC逐渐受到大家的关注,目前已经可以自动生成文字、图片、音频、视频,甚至3D模型和代码。作为GPU加速计算的引领者,英伟达在驱动AIGC应用方面也发挥着重要作用。

NVIDIA高级解決方案架构师唐康祺告诉记者,英伟达在重构整个行业和社会的核心技术平台上,提供了全面的软硬件产品,为AIGC提供多方面的助力。
Omniverse平台——AI驱动内容生产
长期关注NVIDIA的朋友,一定对于黄教主的虚拟分身不陌生,虽然演讲中只有十几秒,但是已经非常震撼。
数字虚拟人是AIGC的重要方面,而针对设计协作、数字孪生、数字人的计算平台,Omniverse融合多领域技术,实现跨行业的3D设计设计协作和工业数字孪生。

唐康祺表示,NVIDIA打造Omniverse以实现虚拟世界,聚合3D工作流程提升设计师、艺术家和工程师创意效率。
例如针对虚拟数字人,Omniverse针对数字人有一系列不同的渲染机制,利用GPU渲染可以让数字人更接近真实的人类。
其次是RTX Render技术,即实时光线追踪技术。数字虚拟人会和周遭环境进行互动,模拟城市、人员、建筑等一系列复杂的生态环境系统都可以通过Omniverse完成。
Stable Diffusion是2022年发布的深度学习文本生成图像模型,其扩散模型利用一系列去噪自编码器,将噪声逐步生成高清图像。Omniverse提供了Stable Diffusion插件集成,借助微服务实现Triton部署加速。
AIGC工具——2维和3维以及多模态
除此以外,NVIDIA还提供了众多AIGC工具,涵盖2维和3维以及多模态。

2维图像生成编辑:StyleGAN/EditGAN、Canvas自动绘图软件。其中,StyleGAN生成式对抗网络是一种最先进的高分辨率图像合成方法,从最初的GAN到StyleGAN2变体,其图像合成能力一直在突破人类的想象,而升级版StyleGAN3的对生成细节的把控更是令人惊叹!

虽然生成式对抗网络(generative adversarial networks,GAN)已被广泛用于各种应用,包括图像编辑、图像翻译以及视频生成,现有的控制生成的模型也达到了很高的水平,但总体而言,在合成过程的基础层面仍有极大的改善空间。
在StyleGAN3中,英伟达将网络中的所有信号解释为连续的,并对架构进行轻微调整保证不需要的信息不会泄漏到分层合成过程,最终得到了StyleGAN3,相比于StyleGAN2,它在保证了图像基本质量的同时,明显改善了其内部的表示方式——即使在亚像素尺度上也能实现绝对的平移和旋转。
3维资产生成:GET3D/Magic3D、Replicator: 合成场景数据、GANVerse3D OV插件等。
例如Magic3D将低分辨率生成的粗略模型优化为高分辨率的精细模型,还可以对3D网格进行基于提示的实时编辑。想改变生成模型,只要改改文字提示,就能立即生成新的模型。
另外,Magic3D可以在几代生成图像中均保留相同的主题(一般称为“一致性”),不会出现越画越离谱的情况,并将2D图像(如立体派绘画)的风格应用于3D模型。
不同模态——语音: Riva文本转语音,可根据用户音频数据微调;Audio2Face,输入声音生成表情;Avatar ACE,数字人微服务。
比如Audio2Face只需要一段文字,便能够通过基于AI深度神经网络感知能力的英伟达会话式人工智能系统,来感知语言下的情绪,把一段文字变成丰富的面部表情,再自动基于AI实时渲染系统叠加到虚拟人上。而以前则要进行配音、口形适配,并考虑当前的语态、语境,进行面部表情分离,重新渲染面部表情,整个环节太繁琐,时间、人力、物力成本都过于巨大。
结语
工欲善其事必先利其器,AIGC产业发展离不开产业链上下游的协同发展。
当前,人们对AIGC的探索已经进入了商业化、规模化的阶段。随着越来越多的科技巨头加入这个赛道,创造出令人惊叹的AI生成作品,有理由相信,AIGC的大航海时代已经来临。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。