AI基准测试是客户进行芯片选型的重要评估手段。随着英特尔和AMD在CPU上运行的AI工作负载领域争夺领导地位,AI基准之战正在升温。
为了证明自己的产品在AI工作负载的表现,不管是英特尔还是AMD纷纷亮出自己在相关基准测试方面的结果。
前段时间,在COMPUTEX上,AMD的Zen 5 EPYC Turin在人工智能工作负载上比英特尔至强芯片快5.4倍。
但是近日,英特尔表示,正在上市的第五代至强芯片比AMD即将于2024年下半年上市的3nm EPYC Turin处理器更快。英特尔表示,AMD的基准对Xeon性能的描述“不准确”,并分享了自己的基准来反驳AMD的说法。
英特尔自己的内部测试结果显示,至强的性能表现并不逊色,比AMD的基准测试快5.4倍,这样比较起来,至强比EPYC Turin并不弱,这使得目前正在发售的64核Xeon相对于AMD未来的128核机型具有优势——这的确是一个相当令人印象深刻的说法,而且在性能上也有很大的变化。
英特尔表示,AMD没有透露其用于基准测试的软件细节,也没有透露测试所需的SLA。AMD的测试结果与其内部广泛使用的开源软件(Intel Extension for PyTorch)并不匹配。
如果该基准测试代表真实性能,那么可能存在的差异是英特尔对AMX(高级矩阵扩展)数学扩展的支持。这些矩阵数学函数极大地提高了AI工作负载的性能,目前还不清楚AMD在测试英特尔芯片时是否采用了AMX。值得注意的是,AMX支持BF16/INT8,因此软件引擎通常会将INT4权重转换为更大的数据类型,以驱动AMX引擎。AMD的当前一代芯片不支持原生矩阵运算,目前还不清楚Turin是否也支持。
所以测试结果之所以出现这样的巨大差异,还是在软件调优。英特尔的硬件可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,其中包括PyTorch和英特尔 PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库和vLLM。
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
上海交通大学研究团队发布了突破性的科学推理数据集MegaScience,包含125万高质量实例,首次从12000本大学教科书中大规模提取科学推理训练数据。该数据集显著提升了AI模型在物理、化学、生物等七个学科的推理能力,训练的模型在多项基准测试中超越官方版本,且具有更高的训练效率。研究团队完全开源了数据集、处理流程和评估系统。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。