新特性:在近日举行的Microsoft Build大会上,Microsoft推出了 基于Project Brainwave的Azure机器学习硬件加速模型,并与Microsoft Azure Machine Learning SDK相集成以供预览。客户可以使用 Azure大规模部署的英特尔FPGA(现场可编程逻辑门阵列)技术,为其模型提供行业领先的人工智能AI推理性能。
“作为一家整体技术提供商,我们通过与Microsoft密切合作为人工智能提供支持。人工智能适用于从训练到推断,从语音识别到图像分析等各种使用场景,英特尔拥有广泛的硬件、软件和工具组合,可满足这些工作负载的需求。”——Daniel McNamara,英特尔公司副总裁兼可编程解决方案事业部总经理
意义:数据科学家和开发人员可以在全球最大的加速计算云中轻松地使用深度神经网络DNN处理各种实时工作负载,应用的领域涵盖制造、零售和医疗领域等。不论是在云计算还是边缘计算中,他们都可以利用英特尔FPGA来训练模型,并将其部署到Project Brainwave上。
重要性:Project Brainwave使用英特尔FPGA来提供实时人工智能,释放了可编程硬件的潜能并展示了人工智能的未来。基于 FPGA 的架构具有高吞吐和经济节能的特点:比如可以运行 ResNet 50——这是一种行业标准的DNN,需要近 80 亿次计算——而无需批处理。AI客户无需在高性能和低成本之间进行选择。
操作方法:通过使用Azure Machine Learning SDK for Python,客户可以重新训练基于ResNet 50的模型及其数据,专门处理图像识别任务。
对于实时AI工作负载,由于计算强度较高,因此需要专用的硬件加速器。英特尔FPGA支持Azure针对任务配置硬件,以实现峰值性能。
微软公司杰出工程师Doug Burger表示:“客户现在可以利用英特尔FPGA和英特尔至强技术,在云端和边缘使用微软的一系列AI突破性技术。这些新功能支持将AI集成到实时处理流程中,以利用Microsoft Azure和Microsoft AI的强大功能推动业务转型。”
用户可以根据Azure工作负载的特定要求进一步完善FPGA或完全改变其用途。采用英特尔FPGA和英特尔至强处理器开发的Azure架构支持根据用户的定制软件和硬件配置条款,通过加速AI实现创新。
Project Brainwave的限量预览版现已提供,用户可在本地访问Microsoft设计的基于英特尔FPGA的系统,后者充当Azure IoT Edge设备并连接到Azure IoT Hub。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。