共有34种设计方案可供选择,如何开启机器学习之旅任君考量。
为了引导技术人员和工程师们积极尝试自家AI加速硬件,英特尔公司已经整合出一系列软件参考套件,宣称能减少在其芯片之上部署机器学习系统所需要的时间和资源。

如大家所想,这34种开源参考套件能够解决各种常见的AI/机器学习工作负载,包括支持聊天机器人和他生成式AI大语言模型,以及处理对象检测、语音生成和财务风险预测等更为普遍的任务类型。
英特尔指出,他们与埃森哲合作开发的这些参考套件均包含必要的模型代码、训练数据、库、oneAPI组件以及面向英特尔硬件的具体实现指令。根据英特尔方面的介绍,这些参考套件还将根据社区的反馈意见定期保持更新。
但这里需要澄清一点:这些套件似乎均为纯软件。需要由客户提供(内置英特尔芯片的)硬件,再配合给定的套件在其上构建AI/机器学习应用程序。
英特尔当然也做好了战斗准备,手中掌握着大量可运行此类AI应用程序的加速器和GPU,包括Habana Gaudi 2训练处理器、Ponte Vecchio GPU以及内置在英特尔Sapphire Rapids至强Scalable处理器当中的高级矩阵扩展加速器。
尽管一直在围绕生成式AI开展大规模宣传,但英特尔的加速器似乎始终没能像英伟达的GPU那样受到公众的广泛关注和使用。而好消息是,英伟达家的GPU被大量用于训练那些规模恐怖、知名度极高、疯狂吞噬GPU资源的大语言模型(各大主要云服务商也在主动争夺英伟达资源,采购数以万计的GPU和加速器),因此一定会有很多客户无法以合理的价格和供应量获取英伟达产品,这样英特尔也就有了占领市场份额的机会空间。
根据技术外媒体The Next Platform的报道,英伟达的H100 PCIe卡(这甚至还不是英伟达家最顶级的GPU版本)在eBay上的竞价已经高达4万美元。
因此,只要英特尔能够降低在其加速器上部署AI工作负载的障碍,那这位x86技术巨头应该有能力说服客户接受他们的部件,特别是那些更昂贵的旗舰产品。
当然,采取这种曲线对抗策略的不只有英特尔一家。英伟达在GPU加速的软件开发与商业化方面已经取得了巨大成功。去年,英伟达CFO Colette Kress就明确强调了此类订阅软件收入,将对推动GPU芯片巨头实现万亿级别收入的重要意义。
AMD也在积极推出自己的AI GPU和加速器产品。今年6月,AMD方面详细介绍了Instinct MI300 APU与GPU,这些产品将在HPC和AI/机器学习领域同英伟达展开正面竞争。除了新款芯片之外,这家芯片制造商还宣布与Hugging Face建立战略合作伙伴关系,由后者负责开发用于构建机器学习应用程序的工具,并针对AMD的Instinct GPU、Alveo FPGA、以及Epyc与Ryzen CPU对目前几种主流AI模型做出优化。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。