赞助文章 尽管生成式 AI 和 GPU 加速 AI 训练与推理已经席卷全球,但全球数据中心仍然需要认真考虑 CPU 的问题。
首先,在大多数公司中,有数百到数千个后台工作负载在支撑业务运营,这些负载有时还需要关系型数据库的支持。毫无疑问,维护这些设备至关重要。
同时,对这些设备进行现代化改造也是一种方式,可以帮助支付未来几年在 AI 基础设施方面的巨额投资,无论公司是购买训练好的模型还是自行创建。无论如何,GenAI 都将是一项昂贵的投资,而通过降低通用服务器机群的成本,不仅可以减少这部分传统服务器机群的电力和冷却支出,还能同时提升其性能。
此外,配备大量核心、强大 I/O 和内存带宽的现代处理器,也是提高昂贵 AI 服务器机群投资回报的一种方式。根据 AMD 在配备八个 GPU 的服务器节点上进行的基准测试,像 "Turin" AMD Epyc 9575F 这样的高速 CPU 可以将 AI 推理性能提升高达 8%,AI 训练性能提升高达 20%。考虑到 GPU 的高昂成本,这种性能提升带来的收益远远超过了在 AI 主机上购买更快 CPU 所需的增量成本。
最后,在许多情况下,直接在 CPU 上运行 AI 算法是有意义的,因为现今的 CPU 完全有能力执行 AI 推理和轻量级 AI 训练所需的向量运算。因此,即使是在通用服务器机群中,拥有高性能 CPU 也很重要。
我们就这些问题与 AMD 服务器解决方案部门的公司副总裁 Madhu Rangarajan 进行了讨论,他负责产品管理、规划和营销工作。我们还探讨了一个观点:现在比以往任何时候都更需要考虑在数据中心部署单插槽服务器,摆脱传统的双插槽服务器思维。
如需了解更多关于 AMD 更新数据中心服务器机群的战略,请观看上方视频。
好文章,需要你的鼓励
这篇研究论文揭示了多模态大语言模型(MLLMs)存在严重的模态偏差问题,即模型过度依赖文本信息而忽视图像等其他模态。研究团队通过理论分析和实验证明,这种偏差主要源于三个因素:数据集不平衡、模态骨干能力不对称以及训练目标设计不当。他们提出了系统的研究路线图和解决方案,包括增强视觉模态在数据集中的贡献、改变模型关注点和应用偏好优化策略。未来研究方向则包括开发更客观的评估指标、探索更多模态组合中的偏差问题以及应用可解释AI技术深入分析偏差机制。
ComfyMind是香港科技大学研究团队开发的一个协作式AI系统,旨在解决当前开源通用生成系统面临的稳定性和规划挑战。该系统基于ComfyUI平台,引入了两项关键创新:语义工作流接口(SWI)和带本地反馈执行的搜索树规划机制。SWI将低级节点图抽象为语义函数,而搜索树规划将生成过程视为分层决策任务。实验表明,ComfyMind在ComfyBench、GenEval和Reason-Edit三个基准测试中均大幅超越开源基线,并达到与GPT-Image-1相当的性能,为开源通用生成AI开辟了新路径。
这项研究介绍了一种名为"热带注意力"的新型注意力机制,专为解决神经网络在组合算法推理中的困境而设计。传统注意力机制使用softmax函数产生平滑的概率分布,无法精确捕捉组合算法所需的锐利决策边界。
这项研究揭示了RAG系统中位置偏见的真实影响——虽然在受控环境中明显存在,但在实际应用中却微不足道。研究人员发现,先进的检索系统不仅会找出相关内容,还会将具有干扰性的段落排在前列,超过60%的查询中至少包含一个高度干扰段落。由于相关和干扰内容同时出现在检索结果前列,位置偏见对两者都有惩罚作用,从而抵消了偏见效应。因此,基于位置偏好的复杂排序策略并不比随机排序更有效,这一发现将优化方向从段落排序重新导向检索质量提升和模型抗干扰能力增强。