Intel Vision 2024大会：全面拥抱AI 英特尔全新软硬件平台已经就绪 原创

众所周知，生成式AI的浪潮由ChatGPT发端，并扩展到各行各业。

有数据显示，预计2026年，80%的企业将会使用生成式AI，预计有50%的企业在边缘计算将会部署各种不同的机器学习或者是深度学习，从而提升企业竞争力。而企业在生成式AI的投资，预计在今年会达到400亿美金的规模，到2027年会达到1510亿的规模。

2023年可以说是生成式AI的元年，有10%的企业在自身的生意模型中部署了生成式AI。其中，大概有一半以上的企业认为他们需要部署生成式AI，但都在硬件或软件等方面遇到了不同的难题。特别是企业的私有数据和通用模型结合在一起就变成了一个很大的挑战。

英特尔公司市场营销集团副总裁、中国区数据中心销售总经理、中国区运营商销售总经理庄秉翰告诉记者，英特尔提出企业AI的概念，即通过开放的生态，能够更开放地、更有规模性地、更可靠地帮助企业释放AI潜力，这是英特尔企业AI最基本的核心。

例如算力层面，英特尔在数据中心、边缘和终端提供多元算力，而且这些算力不仅能够带来性能上的提升，还具备隐私性。

在面向客户和合作伙伴的英特尔on产业创新大会上，英特尔宣布了英特尔至强6处理器的全新品牌，推出英特尔Gaudi 3加速器，以高性能、开放性和灵活性助力企业推进生成式AI创新，并发布了涵盖全新开放、可扩展系统，下一代产品和一系列战略合作的全栈解决方案，以加速生成式AI落地。

全新至强6

庄秉翰说，以往每一代至强的发布基本上都是某一款产品，而至强6则是一个产品组合可以解决数据中心在性能、功耗，以及多元工作负载等方面的各种不同问题。至强6是基于两个不同的微架构，即一个更强调性能的性能核（P-core），和一个更强调功耗比的能效核（E-Core），而且这两个核是软件堆栈兼容，这也有利于企业在工作负载和IP设计的通用。

配备能效核（E-cores）的英特尔至强6处理器将于2024年第二季度推出，提供卓越的效率，配备性能核（P-cores）的英特尔至强6处理器将紧随其后推出，带来更高的AI性能。

配备能效核的英特尔至强6处理器（代号为Sierra Forest）与第二代英特尔至强处理器相比，每瓦性能提高2.4倍，机架密度提高2.7倍。

配备性能核的英特尔至强6处理器（代号为Granite Rapids）包含了对MXFP4数据格式的软件支持，与使用FP16的第四代英特尔至强处理器相比，可将下一个令牌（token）的延迟时间最多缩短6.5倍，能够运行700亿参数的Llama-2模型。

从全新至强6我们可以看到企业AI的几个典型特点：开放、易部署、可扩展、可靠。英特尔公司市场营销集团副总裁、中国区云与行业解决方案部总经理梁雅莉表示，当一个新的技术潮流来临、新一代技术的应用扩展之时，开放、可靠和易部署的策略对终端用户来说极为关键，这也是英特尔在以往每一次技术迭代过程中，与OEM、ODM、ISV、SI等在内整个生态系统合作的基础。技术并非为技术而生，而是为落地而生。

例如英特尔与金山云合作，在其第七代性能保障型云服务器X7中引入了第四代至强可扩展处理器进行了针对性优化。同时，在Stable Diffusion、Llama2、ChatGLM2三款十分流行的大模型基础上进行了调优，并发布优化的模型镜像。

相较优化之前的模型，英特尔AMX优化后的文生图大模型Stable Diffusion，其推理性能提升高达4.96倍。在常用的开源大语言模型Llama2和ChatGLM2 模型上，优化后的模型推理性能也分别取得了2.62倍和2.52倍的显著提升。

对于企业来讲，在面对不同选择之时，他们会考虑以下几点。第一是“可及”，即该算力是能够购买、能够获取的，也是通用的；第二是追求不错的性能；第三则是在易部署的情况下，能够拥有可靠的保障。

“最重要的并非是拥有大模型，而是AI技术该如何落地，并且为客户带来真正的价值，这是英特尔一直致力于探索的方向。”梁雅莉说。

CPU可以运行大模型其实打开了全新的想象空间，比如现在全国各地在积极建设智算中心，这对成本和功耗、运维都提出了新的挑战。而采用CPU进行大模型的推理，可以兼顾已有的工作负载，其实这会让数据中心建设更加平滑。

网络与边缘

无论是推理还是训练，人工智能的很多实践场景往往是需要一个分布式的并行系统，满足模型处理所需要的要求。在并行处理过程当中，数据传输的能力至关重要。

英特尔中国网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇表示，如何更好解决网络拥塞的问题是制约大模型性能提升以及规模扩张的核心要素。

超级以太网联盟（UEC）的宗旨就是定义新一代增强的以太网技术，以一种开放的方式来面对新时代大模型对整个网络的要求。

通过超以太网联盟（UEC），英特尔正在驱动面向AI高速互联技术（AI Fabrics）的开放式以太网网络创新，并推出一系列针对AI优化的以太网解决方案。这些创新旨在革新可大规模纵向（scale-up）和横向（scale-out）扩展的AI高速互联技术，以支持AI模型的训练和推理，这些模型的规模日益庞大，每一代都会增长一个数量级。英特尔的产品组合包括英特尔AI网络连接卡（AI NIC）、集成到XPU的AI连接芯粒、基于Gaudi加速器的系统，以及一系列面向英特尔代工的AI互联软硬件参考设计。

张宇说，scale-up主要是一个计算节点内部不同加速卡之间的互连，scale-out更多是不同计算节点之间的互连。不管是协议定义，还是产品的形态，InfiniBand比较封闭，能够供货的供应商相对来说都是比较有限。以太网的生态非常庞大，而且产品选择种类非常多。

谈到网络，我们就不得不说边缘。到2030年整个边缘服务市场规模会达到4450亿美元，其中AI是第一大边缘工作负载。张宇说，边缘应用直接面向客户多样化的需求，这就要求边缘系统往往是一个异构架构系统。第二，边缘应用的特点是碎片化非常明显。不同的应用对算力有不同的要求，为了满足边缘用户对算力的综合要求，英特尔实际上提供了非常丰富的产品，满足用户对媒体处理、人工智能处理、数据传输等多方面的要求。

面向零售、工业制造和医疗等关键领域，英特尔拥有英特尔酷睿Ultra、英特尔酷睿、英特尔凌动处理器和英特尔锐炫显卡系列产品在内的全新边缘芯片。

英特尔公司市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威表示，英特尔会深入行业，了解行业的需求和痛点，支持好、服务好客户，打造合适的产品解决行业痛点。

软件的力量

软件无处不在，未来软件的作用是加速企业AI的发展。虽然企业现在已经从传统架构转向了云架构，但是大模型的出现让企业需要全新的AI架构。

英特尔公司副总裁、英特尔中国软件和先进技术事业部总经理李映表示，在底层，英特尔软件能够保证硬件性能可以得到充分释放。更重要的是让各种不同的硬件架构之间实现互联互通，共同协作，以及提供很好的、安全的、及时的、高性能的功能，能够让无论是原来企业传统应用还是AI应用共同发展。

英特尔积极推动基于AI的软件创新，让整个AI软件框架变得更加开源、开放。oneAPI就是一个很典型的例子，根据最新的数据，oneAPI已经超过100万次的下载量。

英特尔联合Anyscale、Articul8、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、VMware、Yellowbrick和Zilliz共同宣布，将创建一个开放平台助力企业推动AI创新。这一凝结全行业力量的计划旨在开发开放的、多供应商的生成式AI系统，通过RAG（检索增强生成）技术，提供一流的部署便利性、性能和价值。RAG可使企业在标准云基础设施上运行的大量现存专有数据源得到开放大语言模型（LLM）功能的增强，加速生成式AI在企业中的应用。

英特尔院士、大数据技术全球首席技术官、大数据分析和人工智能创新院院长戴金权说，开源开放的好处显而易见，同一个生态系统中的创新可以相互促进，激发更多应用和技术，比如开源大模型的训练方法、数据、算法可以互通。

英特尔打造开放的软件生态，为开发者打造统一的开发平台。英特尔开发者云平台不仅能帮助开发者最早接触到最新的无论是至强还是Gaudi，可以让开发者更早地熟悉和使用这些硬件，更重要的是能够保证各种开源框架、组件在一个环境中的兼容性，以及为开发者提供更好的用户体验，使用这些开发框架，实现整个开发效率的提升。

针对中国市场，英特尔与openEuler和龙蜥等社区紧密合作，通过本土的工程师，优化英特尔技术，保证英特尔产品在用户真实环境的工作负载中，实现更好的的性价比和性能，

用于AI训练和推理的Gaudi 3

除了CPU、网络和边缘、软件等更新，英特尔Gaudi 3 AI加速器通过以太网的通用标准连接多达数万个加速器，打造高性能、经济实用、节能的处理器所打造的可快速部署的解决方案。并且，Gaudi 3还能满足复杂性、成本效益、碎片化、数据可靠性和合规性等需求。

与上一代产品相比，英特尔Gaudi 3将带来4倍的BF16 AI计算能力提升，以及1.5倍的内存带宽提升。该加速器将为寻求大规模部署生成式AI的企业带来AI训练和推理方面的重大飞跃。

英特尔Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型，以及1750亿参数GPT-3模型的训练时间。此外，在Llama 7B、70B和Falcon 180B大语言模型（LLM）的推理吞吐量和能效方面也展现了出色性能。

英特尔Gaudi 3提供开放的、基于社区的软件和行业标准以太网网络，允许企业灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群，支持大规模的推理、微调和训练。英特尔Gaudi 3将于2024年第二季度面向OEM厂商出货。

结语

英特尔面向开放的、可扩展的AI系统的战略，包括硬件、软件、框架和工具。英特尔让广泛的AI开放生态系统参与者，如设备制造商、数据库提供商、系统集成商、软件和服务提供商等，能够提供满足企业特定生成式AI需求的解决方案。与此同时，亦让企业与他们已知、信任的生态系统合作伙伴展开合作并采取相应解决方案。

英特尔始终致力于让AI更易于使用、更开放、更安全，从而满足全球企业的不同需求。通过Intel Vision 2024大会上公布的全新合作和解决方案，英特尔将在AI浪潮中全力引领创新，让AI为各行各业带来前所未有的价值。