英特尔与微软合作,在其数据中心平台、AI PC及边缘解决方案中支持多种Phi-3模型
近日,英特尔针对微软的多个Phi-3家族的开放模型,验证并优化了其跨客户端、边缘和数据中心的AI产品组合。Phi-3家族的小型开放模型可在低算力的硬件上运行,且更容易微调以满足特定的用户要求,使开发者能够轻松构建在本地运行的应用。支持该模型的产品组合包括面向数据中心应用的英特尔®至强®处理器、英特尔® Gaudi AI加速器,以及面向客户端的英特尔®酷睿™ Ultra处理器和英特尔锐炫™显卡。
英特尔®酷睿™ Ultra处理器支持Phi-3家族开放模型
“我们为客户和开发者提供强大的AI解决方案,这些解决方案采用了业界最新的AI模型与软件。英特尔与微软等AI软件生态系统领军企业的深入合作,是推动AI无处不在的关键。此次,我们非常高兴能与微软携手,使涵盖数据中心、边缘以及客户端的一系列英特尔硬件产品为多种新的Phi-3模型提供支持。”
——Pallavi Mahajan,英特尔公司副总裁兼数据中心与人工智能软件总经理
重要意义:为了推动AI无处不在,英特尔通过与AI领导者和创新者合作,持续深耕AI软件生态系统。
英特尔与微软合作,其产品组合在发布当天即为Phi-3模型提供支持,其中包含英特尔中央处理器 (CPU)、图形处理单元 (GPU) 和英特尔Gaudi加速器。此外,英特尔与微软在DeepSpeed中共同设计了一款易用的深度学习优化软件套件——加速器抽象层,并拓展了Hugging Face上Phi-3和其他模型的自动张量并行支持。
Phi-3模型的大小非常适用于设备端推理,并让在AI PC和边缘设备上进行微调或定制等轻量级模型开发成为可能。同时,英特尔客户端硬件通过全面的软件框架和工具实现加速,其中包括PyTorch和用于本地研发的英特尔® PyTorch扩展包,以及用于模型开发和推理的OpenVINO™工具包。
未来,英特尔将持续满足企业用户的生成式AI需求,并将继续支持和优化针对Phi-3及其他行业领先语言模型的软件。
访问英特尔开发者博客可了解相关性能与技术。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。