Nvidia本周一晚在洛杉矶举行的世界移动通信大会(Mobile World Congress)上宣布最新的EGX Edge超级计算平台全面上市,该平台完全是针对人工智能处理所谓“边缘数据”而打造的。
Nvidia公司创始人兼首席执行官黄仁勋表示,EGX将使企业能够利用工厂车间或者城市街道的快速流数据来大规模且更低延迟地交付“下一代AI、物联网和基于5G的服务”。
他在一份声明中表示:“我们进入了一个新的时代,在这个时代数十亿个永远在线的物联网传感器将通过5G连接并由AI处理。这就需要新型且高度安全、可以在远程轻松操作的联网计算机作为基础。因此,我们打造了Nvidia EGX Edge超级计算平台,让计算超越了个人、超越了云,可以在全球范围内运行。”
使AI能够在智能手机、传感器和工厂机器等边缘设备上运行,这是技术发展的下一个阶段。这在以前是不可能的,由于最早的AI算法非常复杂,只能在运行于云数据中心的强大计算机以进行处理,这就需要通过网络发送大量信息。但这是很麻烦的,因为它需要大量的带宽并会导致更高的延迟,所以很难实现“实时” AI。
企业真正想要的是在生成数据的地方执行AI,无论是在制造设施、零售商店还是在仓库,而这正是Nvidia EGX所瞄准的。它将Nvidia的AI技术与数据中心厂商Mellanox的安全、存储和网络技术进行了结合。Nvidia此前曾表示,计划在年底前以69亿美元的价格收购Mellanox。
EGX平台运行Nvidia Edge Stack,这是针对实时AI服务(例如分析,语音和视觉)进行了优化的软件堆栈。该平台还结合了Nvidia的CUDA-X软件、一系列针对AI的库、工具和技术,以及Nvidia认证的GPU服务器。此外,它还支持用于构建智能城市和智能视频分析应用的框架Nvidia Metropolis。
作为已经在充分使用Nvidia EGX的企业客户之一,德国汽车制造商宝马公司使用EGX从位于南卡罗来纳州制造工厂检测线的多个摄像头和传感器收集数据,以实现所谓的“智能视频分析”。
洛杉矶市也是Nvidia平台的另一个早期采用者,该市利用EGX捕获车辆数据和行人数据,自动管理街道信号计时。
EGX平台的另一个关键,是今天宣布推出的Nvidia Aerial软件开发套件。黄仁勋在主题演讲中表示,Nvidia Aerial对于5G提供商来说至关重要,因为它让5G提供商可以使用EGX来构建和交付“软件定义的高性能5G无线无线电接入网络”,包括从Mellanox网络接口卡到GPU内存的低延迟数据路径,以及5G物理层信号处理引擎,以确保所有数据都保存在GPU内存中。
他表示,电信企业借助Nvidia Aero能够构建完全虚拟化的5G RAN,以支持增强现实、虚拟现实、云游戏和智能工厂等用例。
Nvidia目前已经与瑞典网络公司Telefonaktiebolaget展开合作,建立了全球首个软件定义的5G RAN,而且两家企业正在致力于该技术商业化。
爱立信公司执行副总裁、网络业务负责人Fredrik Jejdling表示:“作为技术领导者,我们拥抱开放性和新平台,在这些平台上我们可以继续创新并突破界限,为客户提供最佳解决方案。我们将与Nvidia共同研究如何将替代解决方案推向市场,以虚拟化完整的无线电接入网络。”
Nvidia还宣布扩大与Red Hat和微软的合作伙伴关系。
首先,Nvidia将向电信企业提供运行在Red Hat OpenShift平台上的高性能、软件定义5G无线基础设施。黄仁勋表示,此举旨在让用户更容易在电信边缘访问AI应用。
同时Nvidia表示,EGX平台正在与微软Azure云紧密集成,以提供更高级的“边缘到云AI计算能力”。两家厂商将专注于智能边缘计算,帮助各个行业的企业组织更好地管理诸如零售商店、仓库、制造厂、联网建筑物和城市基础设施生成的数据,并从中获取洞察。
黄仁勋表示:“全球最大型的那些行业希望将AI计算放在边缘,从连续的数据流中提取洞察,并在行动时感知、推理并采取行动。”
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。