ZD至顶网服务器频道 08月23日 编译:ARM为推动旗下64位v8架构进军高性能计算而新开发了向量指令集。其中富士通也参与了该项开发工作,这也是继K计算机后的又一力作。K计算机是日本理研研究所基于Sparc的系统,2010年的运算速度达每秒8千万亿次,当时曾是世界上最强大的计算系统。
ARM此举标志着ARM处理器内核首次进军超级计算机领域。目前涉足该领域的产品还比较匮乏,而英特尔的x86目前占据主导地位。ARM希望成为继英特尔之后的另一家主导厂商,以逐渐取代来自IBM和Cray生产的处理器。
另外,ARM的强大之处在于其功率效率与x86相比有着更多潜力。超级计算机设计人员在打造超规模系统时往往为所需的巨大功率为难,现在ARM所提供优越的功率效率可为超级计算机设计人员提供帮助。
ARM目前支持的Neon SIMD指令仅限于128位运算,侧重于客户端系统中的图像和视频应用。该指令集合的可缩放矢量扩展 (SVE) 支持128位至2048位的运算,每级增量为128位。此外,用户所写的向量代码也可在任何大小的矢量上运行,无需重新编译,这点据称是其他任何系统都无法做到的。
SVE作为一套新的指令集,主要针对科学计算等工作负载,并非基于DSP媒体加速。富士通表示,希望能在2020年的后K(post-K)计算机里使用这些指令,令其容量和效率达到以前系统的50倍。
SVE的架构为加载/存储型,用了最多32个向量寄存器和16个断言寄存器,另附控制寄存器和First-fault寄存器。在管理各种控制回路所做决定的时候,ARM在编程空间里为SVE未来的扩展留有更多余地。
据悉,ARM现正在与一批合作伙伴合作开发SVE相关规范,规范预计明年年初就绪。ARM亦着手开源这些扩展的Linux版本。
在不同长度向量情况下,ARM的SVE展现了重大的规模性优势。图中结果是基于编译后的代码在不同长度向量下模拟得到的。
所有ARM的64位许可证购买者都可以获取SVE技术。ARM首席设计师Nigel Stephens在一次活动上表示,ARM的几个合作伙伴参与了开发SVE的工作,但ARM不想公布这些名字。
对于富士通而言,与ARM合作是为了在ARM挺进高性能系统的启始阶段与其建立起伙伴关系。
富士通后K计算机的首席设计师俊男吉田表示,“后K计算机的目标是在2020年达到Exaflop的性能级别,而Sparc仍是富士通企业服务器的首选技术,但富士通认为基于ARM芯片的新型科学技术系统的商机是存在的。”
吉田表示,富士通系统将使用512位的SIMD矢量单元,其I/O会使用到旗下的Tofu互连的一个版本和其他加速器内核。另外,他不愿评论该芯片针对的"领先优势"处理节点是什么。
富士通选择了512位的向量长度是因为它正好是以前基于Sparc系统的256位SIMD的两倍。吉田表示,"我们想慢慢进入这一领域。"另外,SVE可置于28位编码区域,只有64位ARM内核才具备该能力。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。