Nvidia近日表示,Nvidia AI超级计算平台最先进的版本Nvidia DGX Cloud现在已经与Nvidia AI Enterprise软件套件一起在Oracle Cloud Marketplace中提供了。
在Oracle云基础设施上发布Nvidia DGX Cloud,将为客户提供访问Nvidia最强大GPU的一种方法,用于以训练生成式AI和其他工作负载。Nvidia表示,在今年3月Nvidia GTX大会上宣布推出的Nvidia DGX Cloud AI是一项云托管的AI超级计算服务,可以立即提供客户开始训练强大生成式AI和其他应用所需的一切。
该服务基于Nvidia广受欢迎的DGX平台,后者是一种专用硬件产品,企业可以购买并设置运行在自己的本地数据中心。企业借助DGX Cloud就不再需要等待购买昂贵且经常需求的平台,而是可以按月租用AI工作负载所需的基础设施。换句话说,Nvidia正在向更多企业提供Nvidia的AI超级计算机,包括那些无力自行部署和管理其系统的企业。
Nvidia解释说,DGX Cloud的每个实例都可以提供8个80 GB Tensor Core GPU,这意味着每个节点都有640 GB的GPU内存。该平台构建在高性能、低延迟的网络结构之上,以确保工作负载可以跨互连系统集群进行扩展。通过这种方式,多个DGX Cloud实例就可以充当一个巨大的GPU来处理最苛刻的工作负载。
DGX Cloud平台与Nvidia AI Enterprise软件搭配,让客户能够访问100多个AI框架和预训练模型,以便他们可以针对特有的、特定领域的任务构建、完善和操作定制的大型语言模型和其他基于自己专有数据训练的生成式AI模型。
Nvidia表示,从今天开始,客户可以通过Oracle Cloud Marketplace访问Nvidia DGX Cloud AI。客户将可以使用Nvidia Base Command Platform与硬件交互,平台让开发人员可以通过网络浏览器访问AI超级计算功能。通过提供客户AI基础设施的单一窗格视图,Base Command Platform简化了多节点集群的管理。
Nvidia表示,客户将能够快速构建他们的生成式AI应用,并将其轻松部署Oracle Cloud Infrastructure或他们自己的本地平台上,从而更容易采用混合云策略。
配合此次发布,Nvidia分享了一个客户成功案例,称纽约州北部的奥尔巴尼大学最近在Oracle基础设施上使用了Nvidia DGX Cloud AI,作为其AI Plus计划的基础。该计划将AI教学与学习整合到大学的研究和学术事业中,涉及网络安全、天气预报、健康数据分析、药物发现和下一代半导体设计等领域。奥尔巴尼大学方面表示,正在Oracle云上使用Nvidia的平台来构建自己的本地超级计算机。
奥尔巴尼大学负责研究和经济发展的副校长Thenkurussi Kesavadas表示:“我们正在加快实现将AI融入几乎所有学术和研究学科的使命之中。我们将推动医疗、安全和经济竞争力的进步,同时帮助学生在不断变化的就业市场中发挥作用。”
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。