在近日举行的re:Invent 2020 CEO主题大会上,AWS 宣布了采用多达8个Habana® Gaudi®加速器的EC2实例,比目前GPU的EC2实例在机器学习性价比上提升了40%,基于Gaudi®的EC2实例计划于2021年上半年提供使用。
在主题大会上,AWS首席执行官Andy Jassy强调了各行业对高性能、更实惠的人工智能工作的巨大需求。随着公司计划引入以Gaudi为特色的新EC2实例进行深度学习训练,AWS将进一步降低AI数据集的训练成本,并降低希望利用AI提供业务分析、改善效率和增强用户体验的客户的运营总成本。
8卡的Gaudi 解决方案可以在TensorFlow上每秒处理12000张图像训练ResNet-50模型。每个Gaudi处理器集成了32GB的HBM2内存,并集成了用于服务器内部处理器互联的RoCE功能。凭借AWS弹性架构适配器(EFA)的技术可以跨服务器扩展,从而允许AWS及其客户无缝地扩展使用多个基于Gaudi的系统以实现高效和可扩展的分布式训练。
Habana的SynapseAI软件套件专为在Habana Gaudi处理器上提供高性能的深度学习训练,SynapseAI与TensorFlow和Pythorch等流行的深度学习框架集成,对Gaudi进行了优化。开发人员将可以获取开放的Gaudi软件、参考模型和文档。参考模型将在Habana的GitHub知识库中公开发布,并将包括各种流行的模型,如图像分类、对象检测、自然语言处理和推荐系统。SynapseAI软件套件包括Habana的图形编译器和实时Tensor Processor Core (TPC)内核库、固件和驱动程序,以及用于定制内核开发的TPC SDK和SynapseAI Profiler等开发工具。有关在Gaudi上使用新的AWS EC2实例的更多信息,请参阅我们的白皮书。
Habana将在目前Gaudi效能基础上,推出下一代TSMC 7nm 的Gaudi2®,让AI训练应用和服务广大客户、数据科学家和研究人员。
好文章,需要你的鼓励
这篇研究介绍了KVzip,一种创新的查询无关KV缓存压缩方法,通过上下文重建机制为大型语言模型提供高效存储解决方案。该技术能将KV缓存大小减少394倍,同时提高解码速度约2倍,在各种任务上性能几乎不受影响。不同于传统查询相关的压缩方法,KVzip创建可在多种查询场景下重用的通用压缩缓存,特别适合个性化AI助手和企业信息检索系统。研究在LLaMA3.1-8B、Qwen2.5-14B和Gemma3-12B等多种模型上进行了验证,处理长度高达17万词元的文本,并能与KV缓存量化等其他优化技术无缝集成。
腾讯与上海交通大学联合推出的DeepTheorem研究突破了大型语言模型在数学定理证明领域的限制。该项目创建了包含12.1万个IMO级别非形式化定理的大规模数据集,开发了专门的RL-Zero强化学习策略,并设计了全面的评估框架。研究表明,通过使用自然语言而非传统形式化系统,即使是7B参数的模型也能在复杂定理证明上取得显著成果,超越许多更大的专业模型。这一成果为AI数学推理开辟了新途径,使语言模型能够像人类数学家一样思考和证明。
MAGREF是字节跳动智能创作团队开发的多主体视频生成框架,能从多张参考图像和文本提示生成高质量视频。该技术引入了区域感知动态遮罩机制,使单一模型灵活处理人物、物体和背景,无需架构变化;并采用像素级通道拼接机制,在通道维度上运作以更好地保留外观特征。实验表明,MAGREF在身份一致性和视觉质量方面优于现有技术,能将单主体训练泛化到复杂多主体场景,为内容创作者提供了强大而便捷的视频生成工具。
这项研究揭示了大型语言模型(LLMs)偏好决策的内在机制。以色列理工学院和IBM研究院的团队开发了一种自动化方法,不需人工预设即可发现和解释影响AI判断的关键概念。研究横跨八个领域(从一般问答到安全评估),分析了12种偏好机制,发现人类评判者重视权威性和清晰度,而AI评判更关注事实准确性。他们提出的层次多领域回归模型不仅能准确预测偏好,还能清晰解释判断过程,为构建更透明、更符合人类价值观的AI系统提供了新途径。