Nvidia正在加紧为网络边缘的5G应用提供动力,在Nvidia Aerial A100 AI-on-5G平台上增加对Arm CPU的支持。
Aerial A100 AI-on-5G是一个统一的融合平台,旨在提供边缘人工智能计算和5G连接。该平台将于4月推出,它把Nvidia Aerial软件开发套件与Nvidia BlueField-2 A100融合卡相结合,后者可以将多个CPU与Nvidia的数据中心处理单元进行配对。
该平台可以为高性能、软件定义的5G基站和人工智能应用提供支持,例如精密制造的机器人、自动导引车、无人机、无线摄像头、自助结账等。换句话说,它为企业提供了在边缘部署智能服务的一个选择。
因为Aerial A100 AI-on-5G平台已经支持英特尔的x86 CPU,所以今天Nvidia在巴塞罗那MWC世界移动通信展上发布的这项公告,有望为用户带来更多选择。Nvidia称,经过Nvidia认证的系统将创造一个“简化的路径,可构建和部署自托管的vRAN,把AI和5G带给私营企业、网络设备公司、软件制造商和电信服务提供商。”
Nvidia表示,Aerial A100 AI-on-5G平台的Arm版本将配置16个Arm Cortex A78处理器,以及即将推出的Nvidia BlueField-3 DPU,从而形成一个独立的融合卡,用于在云原生5G上运行边缘AI应用虚拟无线电区域网络。
Nvidia宣布支持Arm CPU并不令人意外,因为Nvidia正在以400亿美元收购Arm的过程中,这项交易正在接受监管机构的审查,预计要到明年才能完成。
Nvidia电信行业高级副总裁Ronnie Vasishta表示:“我们正在将计算人工智能和电信5G相结合,为5G上的人工智能创建一个软件定义的平台。通过支持Arm,我们不断成长的Aerial平台将加速推进无处不在的‘AI-on-5G’。”
据称,Nvidia的BlueField-3 A100 DPU是专为人工智能和加速计算工作负载设计开发的。它针对5G连接进行了优化,旨在与CPU协同工作。该DPU负责基础设施管理任务,例如扫描网络流量中的恶意软件和调度存储容量,通常这些任务是由CPU处理的,因此把这些任务卸载到DPU,可以让CPU资源释放出来专注用于运行计算任务。”
BlueField-3 DPU将于2022年上半年上市,届时还将搭载Nvidia的AI软件库,包括预训练的模型和Aerial 5G SDK,帮助开发人员缩短部署时间,向他们的应用中添加各种AI功能。
“Bluefield-3结合了Nvidia加速计算和Arm的性能水平,这一组合有助于扩大Arm的生态系统,让网络供应商在创建和部署5G系统方面有更多的选择,”Arm公司高级副总裁、基础设施业务线总经理Chris Bergey这样表示。
首个AI-on-5G创新实验室
打造平台是一回事,但让客户采用这个平台就是另一回事了。因此,Nvidia宣布与谷歌展开合作,创建了首个AI-on-5G创新实验室。
该实验室主要面向那些希望在Nvidia这个新平台上开发和测试解决方案的网络基础设施提供商和AI软件开发者。谷歌将主要贡献他们的Google Anthos平台,用于开发多云和边缘应用。
这对开发者来说是有一定吸引力的,因为Anthos本身就是一个受欢迎的产品,让开发者可以创建由Kubernetes管理的云原生容器化应用,运行在任何类型的云或边缘基础设施上。
谷歌云网络副总裁兼总经理Shailesh Shukla表示:“通过Anthos应用平台,谷歌云将让很多垂直市场的服务提供商和企业能够在网络边缘通过5G进行无缝连接。我们很高兴能够扩大与Nvidia的合作。”
两家公司表示,希望在今年年底之前启动并运行该实验室。
Constellation Research分析师Holger Mueller认为,5G和边缘的争夺战主要是集中在是在平台方面的,谁能够开发出最吸引人的产品并且得到最多企业的采用,谁就将赢得这场竞赛。
“Nvidia在这两方面都取得了进展,一方面Nvidia在5G人工智能软件平台上增加了对Arm芯片的支持,另一方面在企业采用方面,Nvidia与谷歌展开合作,使企业能够熟悉他们的5G AI平台并使用谷歌Anthos为其构建应用。”
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。