今天IBM在Hot Chips大会上展示了一款新的芯片,该芯片可以实时对企业工作负载执行深度学习预测以解决欺诈问题。

这个名为“Telum”的芯片,是IBM首款采用针对AI推理的片上加速(或者是在交易处理过程中利用数据进行预测的过程)功能的处理器。IBM表示,该处理器可以为运行银行、金融、交易和保险工作负载以及客户交互的新一代大型机提供动力。
IBM称,Telum开发工作已经持续了三年时间,首款Telum的系统将于2022年推出。
Telum将让应用能够在靠近所使用数据的位置高效运行于云端,这就避免了需要大量资源用于内存和数据迁移以实时处理推理负载。
IBM表示,让AI加速更靠近数据,这个特性让企业能够对敏感交易进行实时的、大容量的推理,而无需求助于那些可能会影响性能的平台外AI工具。客户仍然可以在平台外构建和训练AI模型,然后在IBM Telum系统上部署剩下的部分用于实时工作负载分析。
IBM表示,Telum的关键优势在于,客户可以在不影响SLA的情况下,把关注点从检测欺诈转向预防欺诈。
Moor Insights & Strategy分析师Patrick Moorhead表示,有两种场景是把推理直接内嵌到工作负载中,会产生变革性的影响。
“首先是利用AI对业务数据进行分析以获得洞察力,例如信用卡交易欺诈检测、客户行为预测或者是供应链优化,”Moorhead解释说。
他表示,这样就可以在交易完成之前检测到欺诈交易行为,而平台外AI系统是不可能做到这一点的,因为将数据转移到系统外不可避免地会遇到网络延迟问题,从而导致交易速度慢得令人无法接受。
他说:“在平台之外你需要将数据从Z迁移到另一个平台上,而且需要延迟很低才能够持续地处理每笔交易。随着延迟的激增,有些交易就无法得到检查处理,有些客户的交易处理完成率只有70%,剩下30%的交易都没有得到保护。”
IBM表示,目前IBM正在与一家未透露名称的国际银行展开合作,使其能够检测出信用卡交易授权处理过程中可能存在的欺诈行为,该客户的目标是在保持每秒处理多达100,000次交易,同时还能够实现亚毫秒级响应时间,而这是利用现有交易处理基础设施所能实现的近10倍之多。
IBM工程师Christian Jacobi和Elpida Tzortzatos在一篇博文中解释说:“客户想要一致且可靠的推理响应时间,以毫秒级低延迟来检查每笔交易是否存在欺诈行为。Telum旨在帮助满足此类具有挑战性的要求,特别是在大规模运行组合交易和AI工作负载方面。”
而另一个片上推理可能带来的好处是使用AI让基础设施变得更加智能,例如,工作负载放置、安全异常检测、或者基于AI模型的数据库查询计划等等。
IBM表示,Telum芯片采用了三星的7纳米制程工艺,其中包含了8个处理器内核,具有深度的超标量乱序指令流水线,5 GHz的云频率,并针对异构企业级工作负载需求进行了优化。
IBM表示,Telum采用了一个全新设计的缓存和芯片互连基础设施,每个核心配置了32MB缓存,能够纵向扩展到32个Telum芯片。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。