独家报道:AMD Instinct GPU即将获得Voltron Data加速SQL引擎Theseus的支持,这是英伟达CUDA护城河正在变浅的最新迹象。
Theseus于2023年底推出,以忒修斯之船命名,因为它在不断地拆解和重建。该引擎使用GPU来加速SQL查询,能够高速处理大量数据。
去年早些时候,Voltron展示了其Theseus平台,在不到一小时的时间内,完成了直接从存储中提取的未排序Parquet文件上的完整TPC-H 100TB规模基准测试。
随着企业寻求利用人工智能获益,快速处理大量数据的能力变得越来越重要。这是因为数据通常需要预处理,然后才能用于微调或集成到检索增强生成(RAG)管道等应用中。在后者的情况下,查询处理速度可能产生重大影响。如果AI基础设施因等待数据库查询完成而停滞,那么其处理令牌的速度再快也没有意义。
迄今为止,这种GPU加速数据处理主要在英伟达加速器上运行。例如,Voltron的TPC-H基准测试使用了约6TB的英伟达加速器。但现在该公司正寻求将这一功能扩展到AMD的Instinct系列芯片。
Voltron Data联合创始人兼现场首席技术官Rodrigo Aramburu表示:"我们的目标是让客户能够选择在英伟达或AMD架构上运行其SQL查询引擎。"
自MI300X首次亮相以来的一年半时间里,AMD的Instinct加速器在超大规模企业和云服务提供商(如Meta、甲骨文和微软)中,作为英伟达GPU的替代方案越来越受欢迎。这是因为在Instinct上运行AI推理工作负载相对比同等的英伟达芯片更便宜。甲骨文上周宣布计划部署131,072个AMD最新一代MI355X加速器。
虽然让大型语言模型在任一供应商的GPU上运行相对简单,但AI只是用户可能想要加速的众多工作负载之一。
不幸的是,在英伟达硬件上运行这些工作负载所需的CUDA软件库,并不总是有AMD的等效版本。
提醒一下,CUDA这个术语经常被用来描述英伟达的低级GPU编程语言,但它实际上是一个优化用于加速各种工作负载的库和框架集合。这加深了所谓CUDA护城河的认知。
AMD已投入大量资源构建其开源软件栈来缩小这一差距。事实上,Aramburu指出,仅在过去几个月中,让SQL数据库在AMD的CDNA架构上运行所需的库才出现在GitHub上。
特别是,Voltron Theseus SQL引擎的最新版本基于hipDF构建,这是AMD对支撑英伟达数据科学平台RAPIDS的libcuDF库的等效版本。
与cuDF类似,hipDF是一个GPU加速的DataFrame库,用于加载、连接、聚合、过滤和其他数据操作,基于Apache Arrow。hipDF是AMD上个月推出的ROCm数据科学库的一部分。
但是,仅仅因为库存在并不意味着将它们集成到现有平台中会很容易或高效。好消息是,Aramburu告诉我们,这个过程比工程团队担心的要轻松得多。
"我们对一切运行状况印象深刻,"他说。
对于Voltron的客户来说,所有这些都是抽象的。无论使用谁的GPU,SQL数据库都可以被加速。
实际实施仍处于早期阶段,Theseus对Instinct加速器的支持仍在预览中。不过,Aramburu表示,即使在这个早期阶段,AMD平台的性能表现也很好。
Aramburu说:"早期基准测试显示出强劲的性能和可扩展性,验证了我们在不同硅片上的加速器原生分析栈。"
Voltron已经在计划在AMD MI300上进行另一次TPC-H测试。尽管这可能会在今年晚些时候更接近正式发布时进行。
对加速器的生产支持预计将在今年晚些时候推出。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。