AI基准测试是客户进行芯片选型的重要评估手段。随着英特尔和AMD在CPU上运行的AI工作负载领域争夺领导地位,AI基准之战正在升温。
为了证明自己的产品在AI工作负载的表现,不管是英特尔还是AMD纷纷亮出自己在相关基准测试方面的结果。
前段时间,在COMPUTEX上,AMD的Zen 5 EPYC Turin在人工智能工作负载上比英特尔至强芯片快5.4倍。
但是近日,英特尔表示,正在上市的第五代至强芯片比AMD即将于2024年下半年上市的3nm EPYC Turin处理器更快。英特尔表示,AMD的基准对Xeon性能的描述“不准确”,并分享了自己的基准来反驳AMD的说法。
英特尔自己的内部测试结果显示,至强的性能表现并不逊色,比AMD的基准测试快5.4倍,这样比较起来,至强比EPYC Turin并不弱,这使得目前正在发售的64核Xeon相对于AMD未来的128核机型具有优势——这的确是一个相当令人印象深刻的说法,而且在性能上也有很大的变化。
英特尔表示,AMD没有透露其用于基准测试的软件细节,也没有透露测试所需的SLA。AMD的测试结果与其内部广泛使用的开源软件(Intel Extension for PyTorch)并不匹配。
如果该基准测试代表真实性能,那么可能存在的差异是英特尔对AMX(高级矩阵扩展)数学扩展的支持。这些矩阵数学函数极大地提高了AI工作负载的性能,目前还不清楚AMD在测试英特尔芯片时是否采用了AMX。值得注意的是,AMX支持BF16/INT8,因此软件引擎通常会将INT4权重转换为更大的数据类型,以驱动AMX引擎。AMD的当前一代芯片不支持原生矩阵运算,目前还不清楚Turin是否也支持。
所以测试结果之所以出现这样的巨大差异,还是在软件调优。英特尔的硬件可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,其中包括PyTorch和英特尔 PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库和vLLM。
好文章,需要你的鼓励
AI实验室不再与企业签署昂贵的数据合同,而是通过Mercor平台招募前员工获取行业知识。Mercor为投资银行、咨询公司和律所的前员工与OpenAI、Anthropic等AI实验室搭建桥梁,向行业专家支付高达每小时200美元来训练AI模型。该公司年化经常性收入达5亿美元,估值100亿美元,每天向承包商支付超150万美元。
约翰斯·霍普金斯大学研究团队提出了创新的隐私保护AI文本生成方法,通过"控制代码"系统指导AI生成虚假敏感信息来替代真实数据。该方法采用"藏身于众"策略,在医疗法律等敏感领域测试中实现了接近零的隐私泄露率,同时保持了高质量的文本生成效果,为高风险领域的AI应用提供了实用的隐私保护解决方案。
作为AI热潮的最大受益者,英伟达成为首家市值突破5万亿美元里程碑的上市公司。受特朗普总统表示将与习近平主席讨论该公司Blackwell芯片消息推动,公司股价周三上涨超过5.6%。英伟达CEO黄仁勋预计AI芯片销售额将达5000亿美元,并为美国建设七台新超级计算机。该公司还投资10亿美元于诺基亚,用于AI原生5G和6G网络开发。这一里程碑距离突破4万亿美元仅三个月。
这项由Reactive AI提出的稀疏查询注意力机制通过减少查询头数量而非键值头数量,直接降低了注意力层的计算复杂度,实现了2-3倍的训练和编码加速。该方法在长序列处理中表现出色,在20万词汇序列上达到3.5倍加速,且模型质量损失微乎其微,为计算密集型AI应用提供了新的优化路径。