如今的英特尔公司明显决定走上Alphabet董事长兼斯坦福大学前任校长John L. Hennessy提出的“特定领域架构”战略之路。为此,英特尔已经在CPU、GPU、各类ASIC以及FPGA等领域全面开花。虽然这种到处试水的作法有点“大力出奇迹”的意味,但也确实在塑造异构计算领域带来了不小的吸引力。但很明显,这种方式要求极高的资本密度、耗费大量工程资源,同时也会给软件开发者带来巨大的负担。在今天的文章中,我们就具体聊聊其中一种架构——作为英特尔家族全新补充成员的高性能GPU。
英特尔最近公布了即将推出的数据中心GPU Xe HPC的详细信息,这款产品代号为Ponte Vecchio(PVC)。英特尔大胆暗示,PVC GPU的峰值性能约为当前最快GPU英伟达A100的两倍。2022年,阿贡国家实验室的百亿亿次超级计算机Aurora就将采用PVC与Sapphire Rapids(多区块下一代至强处理器)构建。从这个角度看,这项技术本身应该已经相当成熟。
英特尔希望用这款GPU产品在高性能计算(64位浮点运算)与AI(8位/16位整数与16位浮点运算)方面对抗AMD与英伟达。Xe HPC采用一种多区块、多进程节点封装方案,采用新的GPU核心、HBM2e存储器、新的Xe Link互连以及使用超过1000亿个晶体管实现的PCIe Gen 5。考虑到实际尺寸,高频工作时的功耗就成了新的问题。但从Xe的设计中可以看出,英特尔很明显是有条有理:封装较小晶片不仅有助于降低开发与制造成本、同时也能缩短产品的上市时间。
Ponte Vecchio采用多区块、多进程节点封装。
Ponte Vecchio预计将于明年年初开始向阿贡国家实验室的Aurora供货,届时将由数万块GPU为这台由美国能源部资助的全球首台百亿亿次级超级计算机提供算力,实际性能至少可达成1.1百亿亿次浮点运算。
Ponte Vecchio承诺在英特尔的HPC与AI领域发挥重要作用。
初步性能声明无疑令人印象深刻,其表现可达英伟达A100的约两倍,矢量引擎每秒可提供45万亿次FP32触发操作,矩阵处理单元则可实现1468 INT8 TOPS。这款怪物级芯片的功耗约为600瓦,发热量肯定低不了。下图为英特尔公司在今年8月的架构日活动上公布的演示文稿。虽然没有做出横向对比,但这里呈现的肯定是最佳性能,也似乎再次强化了“两倍于A100”的结论。
Xe平台包含片上互连链路与开关,可高效扩展至8 GPU。
另一个有趣的点,在于英特尔会如何对Xe HPC与Habana Labs Gaudi进行区别定位。一种可能的猜测是将Ponte Vecchio推向HPC超级计算,而Gaudi则重点关注云服务商的可扩展训练平台。这很大程度上取决于英特尔打算为两款产品投入多少资源以吸引相应的软件团队。
除了直观的规格与码数之争,英特尔应该还会利用Aurora围绕Ponte Vecchio GPU构建开发者社区,包括将OneAPI全面引入AI与HPC领域。英特尔公司从来没有放弃过为高性能计算和AI提供单一抽象这个雄心勃勃、但又困难重重的目标。在最近的简报中,英特尔公司重申了这方面意图,并带来了不少令人信服的证据。可以看到,OneAPI正在获得市场的认可与接纳。我们虽然担心Habana还是无法支持该软件,但就目前的情况看,这种兼容性也确实不算高优先级任务。
英特尔表示,目前已经有80多款HPC与AI应用程序能够支持早期Ponte Vecchio芯片上的OneAPI。成绩不错,但别忘了英伟达CUDA可是有数百家支持者。
英特尔在GPU方面的成就给我留下了深刻印象。但Ponte Vecchio还需要克服两道难关才能真正取代AMD与英伟达:其一是保持合理的功耗,其二则是实现软件的易用性与高优化度。第二点尤其重要,英特尔必须简化代码并优化模型、降低使用难度,才能让声明的性能水平真正成为用户手中的可用资源。
在我看来,在Pat Gelsinger的英明领导下,Ponte Vecchio无疑有机会成为英特尔进军新时代的先锋与典范。最终表现如何,让我们拭目以待。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。