Nvidia近日宣布对Nvidia AI Enterprise软件套件进行重大更新,2.1版新增支持企业可用于运行人工智能和机器学习工作负载的关键工具和框架。
去年8月Nvidia推出的Nvidia AI Enterprise是一个端到端的AI软件套件,捆绑了各种人工智能和机器学习工具,并且这些工具已经过优化,可以在Nvidia的GPU和其他硬件上运行。
Nvidia表示,此次发布的亮点之一是对高级数据科学用例的支持,最新版本的Nvidia Rapids是一套开源软件库和API,用于完全在GPU上执行数据科学管道。Nvidia表示,Rapids能够将AI模型训练的时间从几天缩短到几分钟。该套件的最新版本通过添加新模型、技术和数据处理功能,为数据工作流提供了更大的支持。
Nvidia AI Enterprise 2.1还支持最新版本的Nvidia TAO Toolkit,这是一个低代码和无代码框架,可使用自定义数据微调预训练的人工智能和机器学习模型,以产生更准确的计算机视觉、语音和语言理解模型。TAO Toolkit 22.05版本提供了多项新功能,例如REST API集成、预训练权重导入、TensorBoard集成以及新的预训练模型。
为了在混合云和多云环境中更容易使用AI,Nvidia表示将在现有基于裸机和VMwarevSphere部署的OpenShift支持之外,增加对公有云中运行Red Hat OpenShift的支持。此外,AI Enterprise 2.1还支持新的Microsoft Azure NVads A10 v5系列虚拟机。
Nvidia解释说,这些是任何公有云提供的首批Nvidia虚拟GP实例,可以实现更地成本的“部分GPU共享”。例如,客户可以更灵活地采用不同大小的GPU,从1/6个A10 GPU一直到2个完整的A10 GPU。
最后一项更新和Domino Data Lab有关,Domino Data Lab的MLOps平台现在已经通过了AI Enterprise的认证。Nvidia解释说,通过这项认证,Domino Data Lab将有助于降低部署风险,通过AI Enterprise确保MLOps的可靠性和高性能。Nvidia表示,企业使用这两个平台,可以受益于工作负载编排、自助式基础设施和增强协作,在虚拟化服务器和主流加速服务器上进行具有高成本效益的扩展。
对于有兴趣试用最新版AI Enterprise的企业,Nvidia表示将提供一些新的LaunchPad服务供他们使用。LaunchPad服务可以在私有加速计算环境中提供对AI Enterprise的即时、短期访问,环境中有动手实验室,客户可以使用这些实验室来试用AI Enterprise平台。新实验室环境包括在VMware vSphere with Tanzu上进行图像分类的多节点训练,以及使用Nvidia Triton部署欺诈检测XGBoost模型的机会等等。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。