独家报道:AMD Instinct GPU即将获得Voltron Data加速SQL引擎Theseus的支持,这是英伟达CUDA护城河正在变浅的最新迹象。
Theseus于2023年底推出,以忒修斯之船命名,因为它在不断地拆解和重建。该引擎使用GPU来加速SQL查询,能够高速处理大量数据。
去年早些时候,Voltron展示了其Theseus平台,在不到一小时的时间内,完成了直接从存储中提取的未排序Parquet文件上的完整TPC-H 100TB规模基准测试。
随着企业寻求利用人工智能获益,快速处理大量数据的能力变得越来越重要。这是因为数据通常需要预处理,然后才能用于微调或集成到检索增强生成(RAG)管道等应用中。在后者的情况下,查询处理速度可能产生重大影响。如果AI基础设施因等待数据库查询完成而停滞,那么其处理令牌的速度再快也没有意义。
迄今为止,这种GPU加速数据处理主要在英伟达加速器上运行。例如,Voltron的TPC-H基准测试使用了约6TB的英伟达加速器。但现在该公司正寻求将这一功能扩展到AMD的Instinct系列芯片。
Voltron Data联合创始人兼现场首席技术官Rodrigo Aramburu表示:"我们的目标是让客户能够选择在英伟达或AMD架构上运行其SQL查询引擎。"
自MI300X首次亮相以来的一年半时间里,AMD的Instinct加速器在超大规模企业和云服务提供商(如Meta、甲骨文和微软)中,作为英伟达GPU的替代方案越来越受欢迎。这是因为在Instinct上运行AI推理工作负载相对比同等的英伟达芯片更便宜。甲骨文上周宣布计划部署131,072个AMD最新一代MI355X加速器。
虽然让大型语言模型在任一供应商的GPU上运行相对简单,但AI只是用户可能想要加速的众多工作负载之一。
不幸的是,在英伟达硬件上运行这些工作负载所需的CUDA软件库,并不总是有AMD的等效版本。
提醒一下,CUDA这个术语经常被用来描述英伟达的低级GPU编程语言,但它实际上是一个优化用于加速各种工作负载的库和框架集合。这加深了所谓CUDA护城河的认知。
AMD已投入大量资源构建其开源软件栈来缩小这一差距。事实上,Aramburu指出,仅在过去几个月中,让SQL数据库在AMD的CDNA架构上运行所需的库才出现在GitHub上。
特别是,Voltron Theseus SQL引擎的最新版本基于hipDF构建,这是AMD对支撑英伟达数据科学平台RAPIDS的libcuDF库的等效版本。
与cuDF类似,hipDF是一个GPU加速的DataFrame库,用于加载、连接、聚合、过滤和其他数据操作,基于Apache Arrow。hipDF是AMD上个月推出的ROCm数据科学库的一部分。
但是,仅仅因为库存在并不意味着将它们集成到现有平台中会很容易或高效。好消息是,Aramburu告诉我们,这个过程比工程团队担心的要轻松得多。
"我们对一切运行状况印象深刻,"他说。
对于Voltron的客户来说,所有这些都是抽象的。无论使用谁的GPU,SQL数据库都可以被加速。
实际实施仍处于早期阶段,Theseus对Instinct加速器的支持仍在预览中。不过,Aramburu表示,即使在这个早期阶段,AMD平台的性能表现也很好。
Aramburu说:"早期基准测试显示出强劲的性能和可扩展性,验证了我们在不同硅片上的加速器原生分析栈。"
Voltron已经在计划在AMD MI300上进行另一次TPC-H测试。尽管这可能会在今年晚些时候更接近正式发布时进行。
对加速器的生产支持预计将在今年晚些时候推出。
好文章,需要你的鼓励
微软宣布为Word和Excel推出基于OpenAI的AI代理模式,通过简单提示即可自动生成文档和分析数据。Word用户可享受"氛围写作"功能,利用现有文档组装报告和提案。Excel代理能分析电子表格数据并生成可视化报告。尽管在SpreadsheetBench基准测试中准确率仅为57.2%,低于人类平均水平71.3%,但微软强调其针对实际工作场景优化。此外,微软还发布了基于Anthropic的Office代理,显示其正逐步减少对OpenAI的依赖。
苹果与清华合作提出EpiCache技术,解决AI长期对话中的记忆管理难题。该方法将对话自动分割成话题片段,为每个话题建立专门记忆库,实现智能匹配和高效检索。实验显示,EpiCache比传统方法准确率提高40%,内存使用减少4-6倍,响应速度提升2.4倍,为资源受限环境下的AI对话系统提供了实用解决方案。
OpenAI为美国ChatGPT用户推出"即时结账"功能,用户可在对话中直接购买Etsy和Shopify商品,无需跳转至外部网站。该功能支持Apple Pay、Google Pay等多种支付方式,并计划接入超过100万家Shopify商户。OpenAI还将开源其代理商务协议技术,与谷歌的代理支付协议形成竞争。这标志着电商购物模式的重大转变,AI聊天机器人可能重塑在线零售发现和支付生态系统。
清华大学与英伟达合作提出DiffusionNFT,一种革命性的AI图像生成训练方法。该方法通过对比正负样本进行学习,避免了复杂的概率计算,训练效率比传统方法提升25倍。研究团队在多项测试中验证了其优越性,不仅大幅提升了图像质量和文字渲染能力,还实现了无需分类器引导的高效训练,为AI图像生成技术的普及和应用奠定了重要基础。