这两家公司解释称,双方的合作将让企业用户更容易扩展信息技术基础设施,支持成功的人工智能和机器学习战略,而无需在云中托管这些工作负载。他们可以在自己的内部数据中心部署戴尔的PowerEdge服务器,或者将其作为大型混合云设置的一部分。
RHEL AI是红帽公司传统Linux操作系统的一个专门版本,用于开发基础人工智能模型。开发人员用它来创建、测试和部署生产中的人工智能模型,它现在是戴尔专用人工智能服务器 PowerEdge R760xa的首选平台。
RHEL AI的优势之一是,它可以访问IBM Research强大的开源Granite系列大型语言模型。Granite模型是Meta的Llama系列等知名开源模型以及OpenAI 的GPT LLMs 等专有模型的替代品,它们在生成式人工智能编码任务中表现出色。
除了Granite,RHEL AI平台还配备了基于Large-scale Alignment for chatBots方法的 InstructLab模型对齐工具。它采用了优化的、可启动RHEL映像的形式,适用于单个服务器部署。它还包含在红帽的OpenShift AI中,后者是一个混合云机器学习操作(MLOps)平台,用于在分布式集群环境中大规模运行模型和 InstructLab。
戴尔和红帽表示,在PowerEdge服务器上运行RHEL AI,客户将会受益于简化的AI体验,该平台已经针对包括英伟达加速计算在内的AI工作负载进行了持续测试和验证。
戴尔高级副总裁Arun Narayanan表示,最后一点非常重要,因为在公司的PowerEdge服务器上针对RHEL AI运行AI工作负载的验证意味着客户可以对其基础架构投资的稳定性和可扩展性更有信心。他补充表示:“这简化了生成式人工智能的用户体验,加快了在可信软件堆栈上构建和部署关键人工智能工作负载的进程。”
红帽公司副总裁兼生成式人工智能基础模型平台总经理Joe Fernandes表示,人工智能项目需要访问广泛的计算资源,这些资源需要可以随着项目的发展而扩展。他表示:“通过与戴尔合作,在戴尔PowerEdge服务器上验证并支持RHEL AI,我们将使客户更有信心也更灵活地在混合云环境中利用生成式人工智能工作负载的力量,推动他们的业务走向未来。”
戴尔表示,RHEL AI将于今年第三季度在其最新的PowerEdge服务器上推出,在此之前,客户将可以在全球的戴尔客户解决方案中心预览使用RHEL AI。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。