NVIDIA AI Enterprise和VMware vSphere with Tanzu简化企业AI开发和应用管理
NVIDIA和VMware联合开发AI-ready企业平台,将全球领先的AI堆栈和经过优化的软件带入全球数十万家企业所使用的基础设施中,树立了双方合作的又一里程碑。
VMware在10月5日的VMworld 2021上发布了最新版本的VMware Tanzu for vSphere 。这一工作负载管理软件使IT团队能够在其现有的IT基础设施上运行容器化Kubernetes工作负载。
企业现在可以运用Tanzu for vSphere和NVIDIA AI Enterprise软件套件对其AI项目进行测试。NVIDIA AI Enterprise于2021年8月上市,是一套经NVIDIA优化、认证和支持的端到端的云原生AI和数据分析软件套件,用于在现代混合云中快速部署、管理和扩展AI工作负载。
向行业MLPerf基准测试提交AI虚拟化结果
戴尔科技EMC PowerEdge R7525服务器近期在MLPerf基准测试中使用三个NVIDIA A100 Tensor Core GPU运行NVIDIA AI Enterprise和VMware vSphere,取得了94.4%至100%的等效裸机性能。
这是厂商第二次提交关于虚拟化基础设施的MLPerf结果,反映了NVIDIA AI Enterprise架构如何在现代数据中心的加速行业标准中心服务器上驱动先进的AI工作负载。
AI和IT:珠联璧合
现代AI工作负载需要专门的基础设施和软件,这一复杂性给在企业数据中心和混合云中支持这些先进应用的IT团队带来了挑战。NVIDIA AI Enterprise通过弥合IT运营、数据科学家和应用开发者之间的鸿沟,缩短AI开发周期,帮助客户项目更快投产。
通过NVIDIA AI Enterprise和VMware vSphere with Tanzu,开发者能够在VMware环境中的Kubernetes容器上运行AI工作负载,充分利用方便IT部门管理的基础设施。该软件可在领先的服务器制造商所提供的主流NVIDIA认证系统上运行,从而提供了一个完整的、专为AI优化的集成式软件堆栈和硬件堆栈。
VMware云平台业务部营销副总裁Lee Caswell表示:“VMware通过简化基础设施的复杂性为企业提供服务。我们与NVIDIA合作,使客户能够在其混合云上开发和部署先进的AI应用。凭借适用于VMware vSphere的NVIDIA AI Enterprise和VMware Tanzu,客户可以在主流数据中心服务器和云端管理AI的开发和部署,从而轻松集成驱动各行业增长的AI应用。”
面向开发者和IT的企业级AI
NVIDIA AI Enterprise提供专为开发者优化的AI软件,包括PyTorch、TensorFlow、NVIDIA TensorRT、NVIDIA Triton 推理服务器和NVIDIA RAPIDS。这些工具使AI开发者和数据科学家能够轻松获得构建对话式AI、计算机视觉和推荐系统等一系列企业AI应用所需的工具和框架。
NVIDIA AI Enterprise的云原生架构使IT部门能够集中管理其混合云基础设施中的所有集群和应用。该软件提供接近裸机水平的AI性能,包括在虚拟化环境中。因此,IT团队可以帮助开发者在构建模型时能够快速探索想法并进行迭代。
客户首选的广泛生态系统
NVIDIA AI Enterprise得到了多家提供NVIDIA认证系统的服务器制造商的支持。这些制造商包括
源讯、戴尔科技、技嘉、新华三、慧与、浪潮、联想和超微,这些厂商均采用NVIDIA A100和NVIDIA A30等NVIDIA GPU。
NVIDIA AI Enterprise通过全球NVIDIA渠道合作伙伴提供,包括Atea、Axians、Carahsoft Technology 公司、Computacenter、Insight Enterprises、NTT、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3和WWT。为支持需要即时访问AI基础设施的客户,NVIDIA AI Enterprise预计也将在不久后加入数字基础设施领导者Equinix提供的NVIDIA AI LaunchPad计划。
适用于 VMware vSphere 的NVIDIA AI Enterprise现已全面上市,软件的试用版许可证也将向希望试用NVIDIA AI Enterprise和VMware vSphere with Tanzu的客户开放。戴尔科技验证的AI设计是VMware vSphere上首个联合设计的NVIDIA AI Enterprise软件解决方案,该解决方案也于今天上市。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。