日前,在由开放计算社区OCP及开放标准组织OCTC(中国电子工业标准化技术协会开放计算标准工作委员会)联合主办的2024开放计算中国峰会上,英特尔展示了其在加速器架构、智能DPU、液冷技术创新以及基于Arc GPU的LLM推理边缘解决方案等领域的最新进展,彰显了公司在推动开放计算生态系统中的领导地位和技术实力。
英特尔的人工智能加速器产品经理马剑杰在会上深入介绍了英特尔的加速器产品路线图和创新互联技术方案。他强调了英特尔加速器产品在生成式AI和大型语言模型(LLM)训练和推理计算方面的专业设计,这些产品集成了高算力、大显存和高速互联,旨在满足多样化的AI应用需求。
马剑杰还概述了英特尔加速器的灵活集群架构,能够支持从单个服务器到大规模集群的不同配置,展现了英特尔在AI加速领域的全面布局。他还分享了基于第三代加速器的服务器外联架构,组建16节点到512节点的不同集群网络拓扑连接。
除了硬件,英特尔还提供加速器运行所依赖的软件套件,涵盖从嵌入式软件、图编译器、算子库到编排工具的完整堆栈,支持广泛的AI框架和模型,提供灵活的代码迁移途径,包括模型自动化迁移、手动迁移和算子级迁移。
马剑杰强调了英特尔加速器在提供高性能的同时,还致力于遵循开放标准,这有助于构建一个更广泛和更具竞争力的生态系统。
在活动同期举行的第二演播厅的大咖面对面采访中马剑杰表示,英特尔在智算时代采取了针对性的举措。在个人消费领域,通过AIPC将大型语言模型(LLM)下沉到个人PC中,集成AI智算能力,提供超过30TFLOPS的算力。而在数据中心领域,英特尔提出AI on Xeon和AI on Gaudi等方案,并联合国际知名ICT企业如Cloudera、MariaDB、Red Hat、Hugging Face和SAS,在Linux Foundation下成立OPEA开放联盟,旨在快速构建包括检索增强方案在内的生成式AI解决方案,以适应企业级AI的应用需求。
衡量智算中心先进程度可从技术先进性和经济性两个维度考量,具体包括算力、存力、互联能力以及能源利用率等技术指标,同时也需考虑算力利用率、能源利用率和资金利用率等经济性指标,最终通过投资收益率来评估算力平台的盈利能力和有效性。
马剑杰认为,充分挖掘算力价值是算力平台的核心。近年来,政策和行业积累双管齐下,推动了算力平台的投资,但也有算力平台利用率和业务适配不佳的问题。为解决这一痛点,英特尔主要从产品和解决方案两方面入手:产品方面,硬件加速器集成高算力、大显存和高速互联,兼容主流AI框架和开源生态,适用于大模型的训练和推理,可以很好地满足“训推一体”,“前训后推”及”潮汐部署”的特点,充分提高算力资源的利用率;解决方案方面,通过AI智算对传统基于CPU的通算业务,譬如智慧城市,智慧医疗,智慧交通,智慧工厂等业务进行数智化升级,以提升计算效率和业务经济指标。
在展会现场,英特尔通过一个引人注目的IPU SLB demo演示,展示了其智能数据处理单元(DPU)在服务器负载均衡(SLB)场景下的硬件加速能力。演示直观地比较了传统基于软件的SLB解决方案与英特尔IPU加速SLB之间的显著性能差距,后者实现了吞吐量的大幅提高和延迟的显著降低,同时降低了总体拥有成本(TCO),充分体现了DPU在提升数据中心效率和经济效益方面的潜力。
多样化的前沿技术与解决方案
在下午的分论坛上,英特尔NEX云连接的产品经理Selena Ding在《英特尔智能DPU加速云端和AI网络性能》演讲中分享了英特尔智能DPU如何加速云端和AI网络性能,她指出,DPU不仅能够有效卸载基础设施服务,还能在分布式边缘服务中发挥关键作用。此外,她提到了Falcon可靠传输技术,该技术能够在丢包的网络环境中提供稳定的传输性能,这标志着英特尔在构建开放、多供应商连接生态系统方面的重要突破。
英特尔的数据中心液冷创新专家李昌中在《英特尔UQD互测验证加速数据中心液冷创新》演讲中探讨了液冷快接头(UQD)的重要性及其在数据中心液冷系统中的技术挑战。他强调了英特尔UQD互换验证项目的意义,该项目旨在统一UQD设计标准,确保不同供应商产品的兼容性和互换性,从而降低液冷系统的成本,提高供应链的安全性,加速液冷技术在数据中心的大规模应用。
英特尔是是CXL技术的主要贡献者,同时也在Linux kernel里贡献了大量CXL相关的代码,让自身的产品支持CXL技术,推动CXL技术生态发展。例如CXL技术在英特尔Xeon平台上的应用旨在提高内存性能和容量,优化数据处理,同时简化系统设计和维护。英特尔数据中心人工智能集成(DCAI)中国的云系统架构师赵森林在《CXL On Intel Xeon Platform》演讲中介绍了CXL(Compute Express Link)技术与英特尔Xeon平台的结合,包括CXL概述、规范摘要、英特尔Xeon平台的CXL能力以及CXL内存共享的概念验证案例研究,展示了CXL在多节点环境下的内存管理和数据一致性方面的能力,以及如何通过软件机制克服硬件一致性缺失带来的挑战。
英特尔解决方案部AI架构师赵朝卿在《基于英特尔Arc GPU的LLM推理边缘解决方案》演讲聚焦于基于英特尔Arc GPU的LLM推理边缘解决方案。他介绍了Arc GPU如何从游戏应用领域扩展到生成AI(GenAI)领域,特别是在大语言模型(LLM)的推理任务中展现出色性能。赵朝卿还详细说明了Arc GPU在多卡配置下支持的LLM模型,包括LLaMA系列、ChatGLM系列、Baichan系列和Qwen系列等热门模型,以及它们在不同精度下的显存需求和性能表现,展示了Arc GPU在边缘计算和AI推理场景中的巨大潜力。
本次峰会上,英特尔的演讲和展示不仅体现了公司对于开放计算和标准化的承诺,还彰显了其在推动技术创新和行业合作方面的持续努力,为开放计算的未来描绘了一幅充满活力的图景。
好文章,需要你的鼓励
从电子商务到非营利组织,利用企业数据资产可能是组织成败的关键。机器学习和生成式AI是其中的一个组成部分,但要成功地应用这些技术则评估AI对业务的实际影响。
在对生成式AI进行了近两年的试验之后,许多IT领导者已经准备好扩大规模了。然而,在此之前,他们需要重新考虑数据管理问题。
数字广告的增长并不能很好地触及目标受众。事实上,有研究表明51%的用户屏蔽掉了那些盲目用不相关数字广告轰炸其眼球的品牌。在这种情况下,整合了情感AI的情境广告策略被证明更能有效传达营销信息。
微软及其Azure Quantum项目的合作方们一直在量子计算研究项目中开辟新的天地。最近,他们即将成功把逻辑量子比特的数量增加至四倍,而这只是今年开展的一系列重要量子研究项目中的最新成果。