独家报道:AMD Instinct GPU即将获得Voltron Data加速SQL引擎Theseus的支持,这是英伟达CUDA护城河正在变浅的最新迹象。
Theseus于2023年底推出,以忒修斯之船命名,因为它在不断地拆解和重建。该引擎使用GPU来加速SQL查询,能够高速处理大量数据。
去年早些时候,Voltron展示了其Theseus平台,在不到一小时的时间内,完成了直接从存储中提取的未排序Parquet文件上的完整TPC-H 100TB规模基准测试。
随着企业寻求利用人工智能获益,快速处理大量数据的能力变得越来越重要。这是因为数据通常需要预处理,然后才能用于微调或集成到检索增强生成(RAG)管道等应用中。在后者的情况下,查询处理速度可能产生重大影响。如果AI基础设施因等待数据库查询完成而停滞,那么其处理令牌的速度再快也没有意义。
迄今为止,这种GPU加速数据处理主要在英伟达加速器上运行。例如,Voltron的TPC-H基准测试使用了约6TB的英伟达加速器。但现在该公司正寻求将这一功能扩展到AMD的Instinct系列芯片。
Voltron Data联合创始人兼现场首席技术官Rodrigo Aramburu表示:"我们的目标是让客户能够选择在英伟达或AMD架构上运行其SQL查询引擎。"
自MI300X首次亮相以来的一年半时间里,AMD的Instinct加速器在超大规模企业和云服务提供商(如Meta、甲骨文和微软)中,作为英伟达GPU的替代方案越来越受欢迎。这是因为在Instinct上运行AI推理工作负载相对比同等的英伟达芯片更便宜。甲骨文上周宣布计划部署131,072个AMD最新一代MI355X加速器。
虽然让大型语言模型在任一供应商的GPU上运行相对简单,但AI只是用户可能想要加速的众多工作负载之一。
不幸的是,在英伟达硬件上运行这些工作负载所需的CUDA软件库,并不总是有AMD的等效版本。
提醒一下,CUDA这个术语经常被用来描述英伟达的低级GPU编程语言,但它实际上是一个优化用于加速各种工作负载的库和框架集合。这加深了所谓CUDA护城河的认知。
AMD已投入大量资源构建其开源软件栈来缩小这一差距。事实上,Aramburu指出,仅在过去几个月中,让SQL数据库在AMD的CDNA架构上运行所需的库才出现在GitHub上。
特别是,Voltron Theseus SQL引擎的最新版本基于hipDF构建,这是AMD对支撑英伟达数据科学平台RAPIDS的libcuDF库的等效版本。
与cuDF类似,hipDF是一个GPU加速的DataFrame库,用于加载、连接、聚合、过滤和其他数据操作,基于Apache Arrow。hipDF是AMD上个月推出的ROCm数据科学库的一部分。
但是,仅仅因为库存在并不意味着将它们集成到现有平台中会很容易或高效。好消息是,Aramburu告诉我们,这个过程比工程团队担心的要轻松得多。
"我们对一切运行状况印象深刻,"他说。
对于Voltron的客户来说,所有这些都是抽象的。无论使用谁的GPU,SQL数据库都可以被加速。
实际实施仍处于早期阶段,Theseus对Instinct加速器的支持仍在预览中。不过,Aramburu表示,即使在这个早期阶段,AMD平台的性能表现也很好。
Aramburu说:"早期基准测试显示出强劲的性能和可扩展性,验证了我们在不同硅片上的加速器原生分析栈。"
Voltron已经在计划在AMD MI300上进行另一次TPC-H测试。尽管这可能会在今年晚些时候更接近正式发布时进行。
对加速器的生产支持预计将在今年晚些时候推出。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。