2023 年 8 月 22 日 — VMware(NYSE:VMW)和 NVIDIA(NASDAQ:NVDA)于今日宣布扩展双方的战略合作伙伴关系,帮助数十万家使用 VMware 云基础架构的企业做好准备,迎接AI时代的到来。
VMware Private AI Foundation with NVIDIA 将使企业能够自定义模型并运行各种生成式 AI 应用,如智能聊天机器人、助手、搜索和摘要等。该平台将作为全集成式解决方案,采用 NVIDIA 提供的生成式 AI 软件和加速计算,基于 VMware Cloud Foundation 构建,并针对 AI 进行了优化。
VMware 首席执行官 Raghu Raghuram 表示:“生成式 AI 与多云可谓珠联璧合。客户的数据无处不在,遍布其数据中心、边缘、云等多处。我们将与 NVIDIA 一同助力企业放心地在数据附近运行生成式 AI 工作负载,并解决其在企业数据隐私、安全和控制方面的问题。”
NVIDIA 创始人兼首席执行官黄仁勋表示:“世界各地的企业都在竞相将生成式 AI 整合到自身业务中。通过与 VMware 扩大合作,我们将能够为金融服务、医疗、制造等领域的数十万家客户提供其所需的全栈式软件和计算,使其能够使用基于自身数据定制的应用,充分挖掘生成式 AI 的潜力。”
全栈式计算大幅提升生成式 AI 的性能
为更快实现业务效益,企业希望简化并提高生成式 AI 应用的开发、测试和部署效率。根据麦肯锡的预测,生成式 AI 每年可为全球经济带来多达 4.4 万亿美元的增长(1)。
VMware Private AI Foundation with NVIDIA 将助力企业充分利用这一能力,以定制大语言模型,创建供内部使用的更加安全的私有模型,将生成式 AI 作为一项服务提供给用户,并更加安全地大规模运行推理工作负载。
该平台计划提供的各种集成式 AI 工具,将帮助企业经济高效地运行使用其私有数据训练而成的成熟模型。这一建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 软件上的平台预计能够提供以下方面的优势:
该平台将采用的 NVIDIA NeMo 是 NVIDIA AI Enterprise(NVIDIA AI 平台的操作系统)中包含的端到端云原生框架,可助力企业在几乎任何地点构建、自定义和部署生成式 AI 模型。NeMo 集自定义框架、护栏工具包、数据整理工具和预训练模型于一身,使企业能够以一种简单、经济且快速的方式来采用生成式 AI。
为将生成式 AI 部署到生产中,NeMo 使用 TensorRT for Large Language Models(TRT-LLM),以加速并优化 NVIDIA GPU 上最新 LLM 的推理性能。通过 NeMo,VMware Private AI Foundation with NVIDIA 将使企业能够导入自己的数据,并在 VMware 混合云基础架构上构建和运行自定义生成式 AI 模型。
在 VMware Explore 2023 大会上,NVIDIA 与 VMware 重点介绍了企业内部的开发人员如何使用全新 NVIDIA AI Workbench 提取社区模型(例如 Hugging Face 上提供的 Llama 2),对这些模型进行远程自定义并在 VMware 环境中部署生产级生成式 AI。
生态圈对 VMware Private AI Foundation With NVIDIA 的广泛支持
VMware Private AI Foundation with NVIDIA 将得到戴尔、慧与和联想的支持。这三家企业将率先提供搭载 NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU 和 NVIDIA ConnectX®-7 智能网卡的系统,这些系统将加速企业 LLM 定制和推理工作负载。
相较于 NVIDIA A100 Tensor Core GPU,NVIDIA L40S GPU 可将生成式 AI 的推理性能和训练性能分别提高 1.2 倍和 1.7 倍。
NVIDIA BlueField-3 DPU 可加速、卸载和隔离 GPU 或 CPU 上的巨大计算工作负载,其中包含虚拟化、网络、存储、安全,以及其他云原生 AI 服务。
NVIDIA ConnectX-7 智能网卡可为数据中心基础设施提供智能、加速网络,以承载全球一些要求严苛的 AI 工作负载。
VMware Private AI Foundation with NVIDIA 建立在两家公司长达十年的合作基础之上。双方的联合研发成果优化了 VMware 的云基础架构,使其能够以媲美裸机的性能运行NVIDIA AI Enterprise。VMware Cloud Foundation 所提供的资源及基础架构管理与灵活性将进一步惠及双方共同的客户。
供应情况
VMware 计划于 2024 年初发布 VMware Private AI Foundation with NVIDIA。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。