云设施?打的就是云设施!
戴尔已经宣布与Facebook母公司Meta开展合作,帮助客户轻松在本地基础设施之上部署Llama 2大语言模型(LLM),借此摆脱对云设施的严重依赖。
戴尔表示,希望使用自有IT基础设施部署并运行Meta AI模型的企业客户已经形成了一定规模的市场,而戴尔正努力成为这部分业务的首选供应商。
此项目以戴尔的生成式AI组合验证设计为核心,这套设计方案今年刚刚公布了与GPU大厂英伟达联合开发的预测试硬件版本。除此之外,戴尔还负责提供部署和配置指导,帮助客户在短时间内顺利完成设施的启动和运行。
例如,戴尔已经将Llama 2模型整合至其系统级调整工具当中,借此指导客户正确完成配置、实现其希望通过AI模型达成的目标。
戴尔公司首席AI官Jeff Boudreau在一份声明中表示,包括Llama 2在内的各类生成式AI模型,有望“改变行业的运营与创新方式”。
他强调称,“通过与Meta的技术合作,戴尔将提供详尽的实施指南以及适合各类部署规模的最佳软硬件基础设施,确保所有客户都能更轻松地使用开源生成AI模型。”
Llama 2是一套经过预训练的微调语言模型,于今年7月首次公开亮相,具体提供三种体量选项:70亿参数版本,130亿参数版本,以及700亿参数版本,不同版本分别对应不同的硬件需求。
该模型可免费下载以供研究用途,同时也支持部分商业应用。Meta公司已经与微软和亚马逊合作,推动自家模型登陆Azure和AWS云平台。
当时就有媒体指出,由于Llama 2模型并未获得开放源代码促进会(OSI)批准的许可证,因此称其为“开源”其实存在一定争议。
戴尔的生成式AI验证设计(Validated Designs for Generative AI)计划推出于今年8月,主张将其服务器套件与英伟达GPU、存储及软件(包括英伟达的AI Enterprise套件)相结合。戴尔公司已经确认将提供硬件基础和配套的专业服务,以帮助客户启动并运行生成式AI负载——当然,也要收取相应费用。
整套验证设计方案主要强调推理类负载,适用于涉及自然语言生成的应用场景,例如聊天机器人和虚拟助手、营销与内容创建等。戴尔公司还表示,后续将进一步扩展其产品组合以支持对模型的定制和微调。
根据戴尔公司的介绍,70亿参数版本的Llama 2只需单个GPU即可运行,130亿参数版本则需要双GPU承载,而700亿参数版本需要8个GPU。戴尔在博文中概述了如何在PowerEdge R760xa系统上部署70亿与130亿参数两个模型版本(https://infohub.delltechnologies.com/p/deploying-llama-2-on-the-dell-poweredge-xe9680-server/);而700亿参数版本因为需要8个GPU,所以只能在PowerEdge XE9680级别的服务器上运行。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。