从云到边缘基础架构,全面提升Ampere Altra系列的AI性能
中国,北京(2021年8月5日)——安晟培半导体科技有限公司(Ampere Computing)日前宣布收购AI技术初创公司OnSpecta,该收购将助力Ampere通过AI推理应用程序进一步增强Ampere Altra的性能。相较于常用的基于CPU的机器学习(ML)框架,OnSpecta深度学习方案(DLS)的AI优化引擎可带来显著的性能提升。目前,两家公司已开展合作,在基于Ampere的实例上运行了流行的AI推理工作负载,并展示了超过四倍的加速。此次收购将包括一个优化的模型集合(model zoo),包含对象检测、视频处理和推荐引擎等功能。
Ampere创始人、董事长兼首席执行官Renee James表示:“很高兴OnSpecta团队加入Ampere。借助他们在深度学习领域的专业积累,Ampere将推出更强大的推理任务处理平台,提供更低的能耗、更强的性能、更高的可预测性。此次收购也凸显了我们致力于为云和边缘部署的客户提供差异化的云原生计算平台的承诺。”
据IDC研究显示,到2024年,AI服务器市场市值预计将超260亿美元,年增长率将达13.7%。在中心和边缘的基础架构中,Ampere的客户正在寻找解决方案,以管理AI推理任务成本和不断增长的需求。DLS为无缝二进制drop-in库,适用于多种AI框架,可大幅提升Ampere Altra上的推理速度。它支持使用Altra-native FP16数据格式,该格式可将FP32格式的性能提高一倍,且不会显著降低精度,也无需重新对模型进行训练。
OnSpecta联合创始人兼首席执行官Indra Mohan表示:“本次收购是我们双方通力合作后水到渠成的结果。加入Ampere后,我们将进一步助力Ampere Altra取得更大的成功,为客户提供关键支持,让Altra产品系列更好地用于各种AI推理用例。”
Oracle云基础设施执行副总裁Clay Magouyrk表示:“在Oracle OCI Ampere A1实例上,Ampere Altra和OnSpecta所展现的强大性能和易用性有目共睹。凭借DLS在所有主要开源AI框架(包括Tensorflow、PyTorch和ONNX)上的兼容性,以及Ampere Altra可预测的性能,OCI Ampere A1将在AI推理工作负载中继续开拓创新。”
依据惯例,此次收购将于8月完成,具体交易条款未披露。
好文章,需要你的鼓励
本文介绍了 Agentic AI 的概念、特点及应用,强调其自主决策、分解任务与执行复杂目标的能力,并探讨了应用场景与潜在风险。
CapSpeech是约翰·霍普金斯大学等机构联合提出的风格描述文本转语音合成基准,包含超过1000万机器标注和36万人工标注的语音-描述配对。它支持五大下游任务:基础风格描述、带音效的语音合成、口音控制、情感表达和表现力丰富的虚拟代理。研究团队开发了自回归和非自回归两种模型,并通过客观和主观评估证明了该基准的有效性。CapSpeech不仅丰富了语音合成的表现力和可控性,还为实际应用如有声读物、对话代理和跨文化语音合成铺平了道路。
本篇文章以 Navin Chaddha 的采访为主线,阐述了 AI 技术背后人际伙伴关系和早期合作的重要性,以及“协同智能即服务”的理念,强调未来创新依旧由人类主导,技术只是辅助工具。
华盛顿大学和卡内基梅隆大学的研究团队开发了"位置专家"(PosS)技术,解决了推测性解码中的关键挑战。传统方法使用单一草稿模型预测多个位置的词汇,导致预测质量随位置深入而急剧下降。PosS创新性地引入多个专业化层,每层负责特定位置的预测,有效缓解了特征偏差累积问题。实验表明,在Llama系列模型上,PosS比基线方法提高了接受长度达4.5%,加速比提升最多5.7%,而仅带来微小的计算开销。这一技术为大型语言模型的高效推理提供了新思路。