戴尔与Meta合作，尝试在本地驯服Llama 2 AI巨兽

云设施？打的就是云设施！

戴尔已经宣布与Facebook母公司Meta开展合作，帮助客户轻松在本地基础设施之上部署Llama 2大语言模型（LLM），借此摆脱对云设施的严重依赖。

戴尔表示，希望使用自有IT基础设施部署并运行Meta AI模型的企业客户已经形成了一定规模的市场，而戴尔正努力成为这部分业务的首选供应商。

此项目以戴尔的生成式AI组合验证设计为核心，这套设计方案今年刚刚公布了与GPU大厂英伟达联合开发的预测试硬件版本。除此之外，戴尔还负责提供部署和配置指导，帮助客户在短时间内顺利完成设施的启动和运行。

例如，戴尔已经将Llama 2模型整合至其系统级调整工具当中，借此指导客户正确完成配置、实现其希望通过AI模型达成的目标。

戴尔公司首席AI官Jeff Boudreau在一份声明中表示，包括Llama 2在内的各类生成式AI模型，有望“改变行业的运营与创新方式”。

他强调称，“通过与Meta的技术合作，戴尔将提供详尽的实施指南以及适合各类部署规模的最佳软硬件基础设施，确保所有客户都能更轻松地使用开源生成AI模型。”

Llama 2是一套经过预训练的微调语言模型，于今年7月首次公开亮相，具体提供三种体量选项：70亿参数版本，130亿参数版本，以及700亿参数版本，不同版本分别对应不同的硬件需求。

该模型可免费下载以供研究用途，同时也支持部分商业应用。Meta公司已经与微软和亚马逊合作，推动自家模型登陆Azure和AWS云平台。

当时就有媒体指出，由于Llama 2模型并未获得开放源代码促进会（OSI）批准的许可证，因此称其为“开源”其实存在一定争议。

戴尔的生成式AI验证设计（Validated Designs for Generative AI）计划推出于今年8月，主张将其服务器套件与英伟达GPU、存储及软件（包括英伟达的AI Enterprise套件）相结合。戴尔公司已经确认将提供硬件基础和配套的专业服务，以帮助客户启动并运行生成式AI负载——当然，也要收取相应费用。

整套验证设计方案主要强调推理类负载，适用于涉及自然语言生成的应用场景，例如聊天机器人和虚拟助手、营销与内容创建等。戴尔公司还表示，后续将进一步扩展其产品组合以支持对模型的定制和微调。

根据戴尔公司的介绍，70亿参数版本的Llama 2只需单个GPU即可运行，130亿参数版本则需要双GPU承载，而700亿参数版本需要8个GPU。戴尔在博文中概述了如何在PowerEdge R760xa系统上部署70亿与130亿参数两个模型版本（https://infohub.delltechnologies.com/p/deploying-llama-2-on-the-dell-poweredge-xe9680-server/）；而700亿参数版本因为需要8个GPU，所以只能在PowerEdge XE9680级别的服务器上运行。