独家报道:AMD Instinct GPU即将获得Voltron Data加速SQL引擎Theseus的支持,这是英伟达CUDA护城河正在变浅的最新迹象。
Theseus于2023年底推出,以忒修斯之船命名,因为它在不断地拆解和重建。该引擎使用GPU来加速SQL查询,能够高速处理大量数据。
去年早些时候,Voltron展示了其Theseus平台,在不到一小时的时间内,完成了直接从存储中提取的未排序Parquet文件上的完整TPC-H 100TB规模基准测试。
随着企业寻求利用人工智能获益,快速处理大量数据的能力变得越来越重要。这是因为数据通常需要预处理,然后才能用于微调或集成到检索增强生成(RAG)管道等应用中。在后者的情况下,查询处理速度可能产生重大影响。如果AI基础设施因等待数据库查询完成而停滞,那么其处理令牌的速度再快也没有意义。
迄今为止,这种GPU加速数据处理主要在英伟达加速器上运行。例如,Voltron的TPC-H基准测试使用了约6TB的英伟达加速器。但现在该公司正寻求将这一功能扩展到AMD的Instinct系列芯片。
Voltron Data联合创始人兼现场首席技术官Rodrigo Aramburu表示:"我们的目标是让客户能够选择在英伟达或AMD架构上运行其SQL查询引擎。"
自MI300X首次亮相以来的一年半时间里,AMD的Instinct加速器在超大规模企业和云服务提供商(如Meta、甲骨文和微软)中,作为英伟达GPU的替代方案越来越受欢迎。这是因为在Instinct上运行AI推理工作负载相对比同等的英伟达芯片更便宜。甲骨文上周宣布计划部署131,072个AMD最新一代MI355X加速器。
虽然让大型语言模型在任一供应商的GPU上运行相对简单,但AI只是用户可能想要加速的众多工作负载之一。
不幸的是,在英伟达硬件上运行这些工作负载所需的CUDA软件库,并不总是有AMD的等效版本。
提醒一下,CUDA这个术语经常被用来描述英伟达的低级GPU编程语言,但它实际上是一个优化用于加速各种工作负载的库和框架集合。这加深了所谓CUDA护城河的认知。
AMD已投入大量资源构建其开源软件栈来缩小这一差距。事实上,Aramburu指出,仅在过去几个月中,让SQL数据库在AMD的CDNA架构上运行所需的库才出现在GitHub上。
特别是,Voltron Theseus SQL引擎的最新版本基于hipDF构建,这是AMD对支撑英伟达数据科学平台RAPIDS的libcuDF库的等效版本。
与cuDF类似,hipDF是一个GPU加速的DataFrame库,用于加载、连接、聚合、过滤和其他数据操作,基于Apache Arrow。hipDF是AMD上个月推出的ROCm数据科学库的一部分。
但是,仅仅因为库存在并不意味着将它们集成到现有平台中会很容易或高效。好消息是,Aramburu告诉我们,这个过程比工程团队担心的要轻松得多。
"我们对一切运行状况印象深刻,"他说。
对于Voltron的客户来说,所有这些都是抽象的。无论使用谁的GPU,SQL数据库都可以被加速。
实际实施仍处于早期阶段,Theseus对Instinct加速器的支持仍在预览中。不过,Aramburu表示,即使在这个早期阶段,AMD平台的性能表现也很好。
Aramburu说:"早期基准测试显示出强劲的性能和可扩展性,验证了我们在不同硅片上的加速器原生分析栈。"
Voltron已经在计划在AMD MI300上进行另一次TPC-H测试。尽管这可能会在今年晚些时候更接近正式发布时进行。
对加速器的生产支持预计将在今年晚些时候推出。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。