Greg Lavender坚称,这是为了突破英伟达方面的供应商锁定。
身负一大堆专为英伟达CUDA平台编写的遗留代码?英特尔公司CTO Greg Lavender建议构建一套大语言模型(LLM),将这部分代码转换成可以在其他AI加速器上运行的模型,包括英特尔自己的Gaudi2或GPU Max硬件。
他在上周三的Innovation大会主题演讲中打趣道,“我想向全体开发人员提出一个挑战,就是使用大语言模型配合Copilot等技术来训练机器学习模型,尝试将所有CUDA代码都转换成SYCL。”所谓SYCL,是英特尔一款面向加速器的编程工具。
目前,英特尔、AMD和其他加速器制造商在推广AI硬件时的一大挑战,就是客户必须对原本为英伟达CUDA运行时编写的大量代码进行重构,而后才能在新平台上正常使用。
英特尔软件产品与生态系统副总裁Joe Curley评论称,在某些情况下,哪怕只是调用CUDA库的几行代码,都可能对应用程序的功能至关重要,这就导致原有代码“被牢牢粘在一种微架构上”。
而英特尔已经在这方面取得一定进展。这家芯片巨头投入巨资打造出名为oneAPI的跨平台并行编程模型,以及OpenVINO人工智能推理产品。Lavender在演讲中夸耀称,自2021年面世以来oneAPI的安装量增长了85%,表明市场正对该平台表现出日益增长的热情。
虽然由英特尔主导开发,但值得注意的是,oneAPI和OpenVINO均为开源项目,并不限于特定芯片厂商的硬件架构。
芯片巨头还发布了数十个开源参考套件,用于解决各种常见的AI/机器学习工作负载,包括聊天机器人、其他生成式AI、乃至更为传统的机器学习类工作负载(例如对象检测、语音生成和财务风险预测等)。
SYCL是英特尔打破CUDA在AI软件生态中垄断地位的最新举措。根据去年年初的相关报道,SYCL(全名是SYCLomatic)属于免版税的跨架构抽象层,能够为英特尔的并行C++编程语言提供支持。
简言之,SYCL能够处理大部分繁重工作(据称占比高达95%),帮助用户将CUDA代码移植可能在非英伟达加速器上运行的格式。但大家可以想见,后续还要再做一些细微调整才能让应用程序保持全速运行。
Curley解释道,“相对于AMD GPU和英伟达GPU,如果大家想要发掘出英特尔GPU的全部潜力,还得再配合一些措施,包括采用SYCL的扩展机制或者调整原本的代码结构。”
Lavender则认为,配合大语言模型也许能进一步提升这种微调的自动化水平。
Curley预测称,“未来肯定会出现这方面的研究努力。我们今天所熟知的低代码/无代码世界,在五年之后将完全不同。所以这不只是个好主意,更是个即将落地的现实方案。”
Curley认为,其中最大的挑战在于如何为模型训练选择适当的源数据。
另外值得注意的是,SYCL绝非编写加速器中立代码的唯一选项。Curley提到,OpenAI的Triton和谷歌的Jax也是两款具有类似定位的重要框架。
“如果大家出于某种原因而不太喜欢我们的SYCL开发方向,也可以选择其他标准化解决方案。我们整个行业都在努力为各种硬件打造编译链,希望给全体用户带来统一的助益。”
除了SYCL等软件运行时之外,英特尔还会在其Developer Cloud中以软件、支持和加速器等形式提供大量资源,帮助AI初创公司针对Gaudi2、GPU Max或最新至强搭载的高级矩阵扩展(Advanced Matrix Extensions)等优化自己的代码。
英特尔的Liftoff项目也得到了推广,该计划旨在提供专业技术知识来吸引刚刚起步的AI软件初创公司,帮助他们构建起可在英特尔产品上运行的应用成果。
挺身而出应对挑战的厂商当然不止英特尔一家。日前,Linux基金会与Arm、富士通、Google Cloud、Imagination Technologies、英特尔、高通及三星合作,共同成立了统一加速(UXL)基金会。该组织的目标是开发oneAPI,从而适配由不同厂商提供的各种加速器产品。
Lavender最后总结道,“整个行业都将受益于这种面向加速器硬件进行编程的开放式标准化语言,每位参与者都能在不受供应商锁定的情况下做出贡献、开展协作。”
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。