异构计算简史
为什么要用异构计算,想想开头的例子就清楚了,如果人脑就是主流的通用处理器的话,那么异构计算就是为这个处理器额外配备的“计算器”或工具,用来执行更高复杂度的计算或应用,而这种复杂度主要指的就是超大规模的并行处理,对于更擅长串行处理的CPU来说是一个极大的互补。
异构计算的概念本身其实并不新鲜,最早可以追溯到30年前(在某些定义中,则是以指令集的处理模式来区分异构与否,但基本上已并非是主流概念),可要谈到异构计算的真正崛起,则要从2001年用GPU实现通用矩阵计算开始,而标志性事件发生在2005年,GPU终于在执行LU分解(用于解线性方程组)的性能方面战胜了CPU,从那之后,基于GPU的大规模并行计算方案开始崭露头角。
CPU+GPGPU是目前最为知名的异构计算组合,也是第一代异构计算的典型代表
2007年,NVIDIA推出了专门用于简化GPU应用编程的统一计算设备架构(CUDA,Compute Unified Device Architecture),它标志着GPU的通用计算应用开发开始走向易用、成熟。时至今日,GPU+CPU的异构计算平台已经越来越多的出现在高性能计算系统中(HPC),大大弥补了CPU在浮点运算方面的能力。
当然,在GPGPU之前其实还有多种芯片在向通用计算领域迈进,其中之一就是FPGA,它是最可匹敌GPGPU的异构计算技术。
2012年英特尔发布的Atom E6x5C嵌入式处理器,就已经在单Socket封装上整合了Altera的FPGA,但这个FPGA的主要任务不是计算,而是针对不同应用场景的I/O定制化与指定的信号处理,很难用于通用场合
FPGA于1985年诞生,很快就开始尝试在通用计算领域的运用,可以说比GPGPU的出现还要早。GPGPU所擅长的浮点运算,FPGA同样也在积极参与,但成果远没有GPGPU显著(看看超级计算机全球TOP500的排名配置就知道了)。在整数型运算方面,虽然FPGA更有优势,可惜那时的计算量除非个别应用,普遍并不大,CPU自己就能搞定,所以FPGA加速更多用于细分应用市场,应用规模相对来说并不大。不过,随着物联网、大数据、人工智能、机器学习等新兴的大规模数据处理需求的不断涌现,现在它的机会要来了,而且底层互联 技术也比当前的异构系统更为先进,它就是由OpenPOWER CAPI所开辟的新一代异构计算平台,主打CAPI+FPGA的组合。
而在我看来,它们其实是开启了第二代异构计算的时代。
好文章,需要你的鼓励
Amazon旗下秘密研发机构Lab126新成立团队,专注在机器人上嵌入自主代理AI,实现通过自然语言完成复杂任务,从而提升仓储物流与配送效率,同时开发高精度地图技术。
这项研究介绍了一种新型多模态扩散模型,能够同时生成量子电路的离散结构和连续参数。由因斯布鲁克大学和NVIDIA公司研究人员开发,该模型利用两个独立但协同工作的扩散过程处理门类型选择和参数预测,克服了传统量子电路编译方法的效率瓶颈。研究证明了该模型在不同量子比特数量、电路深度和参数化门比例下的有效性,并通过快速电路生成创建了数据集,从中提取出有价值的结构见解,为量子电路合成提供了新方向。
SenseFlow是香港科技大学等机构联合开发的文本到图像蒸馏技术,解决了大型流匹配模型蒸馏的三大难题。研究团队提出隐式分布对齐(IDA)稳定训练过程,段内引导(ISG)优化时间步重要性分配,并设计基于视觉基础模型的判别器提升生成质量。实验表明,SenseFlow能将SD 3.5和FLUX等12B参数级模型成功蒸馏为仅需4步生成的高效版本,同时保持甚至超越原模型在多项指标上的表现,代表了AI图像生成效率提升的重要突破。