我们知道虚拟化技术已经成为企业IT架构的重要支撑,而随着AI工作负载的日渐流行,如何在虚拟化平台上门更好地部署AI应用成为企业的最大诉求。
近日,NVIDIA正式发布NVIDIA AI Enterprise,这套综合全面的AI工具和框架软件能够帮助成千上万的运行VMware vSphere的公司在NVIDIA认证系统上实现AI工作负载的虚拟化。
NVIDIA AI Enterprise让使用VMware vSphere来运行传统企业应用的IT专业人士能够轻松、经济高效地支持AI工作负载,同时使用原有工具来管理大型数据中心和混合云。
简化和扩展AI工作负载
通常针对AI,企业需要部署专门的IT基础设施。随着AI应用变得日益关键,客户希望能够在其企业基础设施上运行这些应用以实现可控性、可扩展性、安全性和管理。
借助NVIDIA AI Enterprise,企业可以在VMware上使用主流数据中心服务器运行AI工作负载。通过在VMware vSphere上运行NVIDIA AI Enterprise,企业能够获得一个经过认证、易于部署和操作的端到端AI-Ready 企业平台。
NVIDIA和VMware联合提供了一个AI-Ready的企业平台,可加速AI计算、基于容器的工作负载和传统的企业工作负载,同时还可凭借与裸金属服务器几乎别无二致的横向扩展性能支持虚拟化AI应用程序。
目前,全球领先的制造商源讯、戴尔科技、技嘉科技、惠普、浪潮、联想和超微都在推出内置A100、A30、A40、A10和T4等各种NVIDIA GPU的NVIDIA认证系统。
这些系统通过NVIDIA AI Enterprise专门针对VMware vSphere上的AI工作负载进行了优化,可以在vSphere上实现与裸机服务器几乎无异的横向扩展、多节点AI应用性能。
此外,戴尔科技还宣布,戴尔EMC VxRail是首个获得适用于NVIDIA AI Enterprise的NVIDIA认证系统资格认证的超融合平台。
NVIDIA AI Enterprise加速落地
如果持续关注NVIDIA的话,你或许对于NVIDIA AI Enterprise并不陌生。其实在此前,全球数十家汽车、教育、金融、医疗、制造和技术公司已经进行了早期的“尝鲜”。
Cerence公司是一家面向汽车和移动出行市场的领先对话式AI提供商。目前全球有近4亿辆汽车搭载Cerence的系统,其正在运用AI Enterprise开发智能车载助手和数字副驾系统。
如今伴随着正式版的发布,企业现在能够使用在全球最广为应用的服务器来开发种类丰富的应用,以此部署和扩展数据科学、对话式AI、计算机视觉、推荐系统等。
例如为了帮助数据科学家团队最高效地运行其AI工作负载,Domino Data Lab正在使用NVIDIA AI Enterprise验证其Domino Enterprise MLOps 平台,该平台可在主流NVIDIA认证系统上运行。
意大利一家公立研究大学比萨大学正通过支持多个学科的HPC和AI训练,推动使用NVIDIA软件开展科学研究。
比萨大学首席技术官Maurizio Davini表示:“通过NVIDIA AI Enterprise,我们能够为使用数据分析以及AI深度学习和机器学习的研究人员和学生提供进一步的支持,同时也使这些应用变得更容易部署和管理。我们的测试表明,NVIDIA和VMware的这些最新合作成果以接近裸机的速度发挥了我们GPU加速的虚拟化基础设施的全部潜力。”
据悉,企业现可从NVIDIA全球渠道合作伙伴处获得 NVIDIA AI Enterprise,包括 Atea、Carahsoft、Computacenter、Insight Enterprises、NTT、SoftServe 和SVA System Vertrieb Alexander GmbH。
NVIDIA AI Enterprise通过订阅许可的形式提供,基于每个CPU socket的订阅许可的年费为2000美元,并且包含企业标准支持服务(每周5天,每天9小时)。永久许可费用为3595美元并且需要另行购买支持服务。客户还可以升级为 "关键业务支持"以获得全天候的NVIDIA AI Enterprise 服务。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。