万亿级多核系统：内核之间的通信机制和内存带宽解决方案

一周前我们在美国总部那边举办英特尔研究成果开放日活动，邀请了世界各地的行业媒体前往参观，其中还特别邀请了几位中国IT业的记者出席。参加了这次活动的同事回来后对我谈到了现场的情况，说记者们对技术细节都很感兴趣，往往不满足于知道是什么，更要了解为什么。在现场开放的几个小时里，技术人员们根本没有空闲的时刻。结束后记者们还抱怨说时间太短了。是啊，总共五十多个展示，据说记者们除了专访外只有三个小时看展示，走马观花也不太够啊。

我可以在这里跟大家讨论一下一些热门技术问题。关于多核技术，有热心读者在留言中谈到多个内核之间的通信机制和内存带宽的问题。我在这里稍作阐述：

关于多核的片上互连（interconnection）

我们知道多核系统是在一个芯片上集成有多个处理器内核，这多个内核之间的通信要靠片上互连系统来实现。设计时，要考虑三个因素，即功耗、芯片面积以及设计复杂度。

先说功耗：互连网络是个耗电大户，可以消耗整个芯片供电的三分之一！如增加互连网络带宽，就会增加能耗。所以一方面要考虑实际带宽的需求，也要考虑相应的电源管理技术方面的要求，达到按需供应，以节约电能。

芯片面积：集成电路的特点就是有大量的晶体管备用，可以构成各种电路。互连网络就是由芯片中的一部分晶体管构成的，在芯片上占用的面积可超过内核晶核面积的五分之一。此涨彼消，用了太多的晶体管作互连网络，用于计算功能的晶体管数量就会减少。我们必须找到一个合理的比例，不能牺牲太多计算功能区域，也就是说互连网络的片上面积是有限制的。

设计复杂度：所有的电路设计都是要经过优化的。显而易见，简单的电路容易进行优化，复杂的电路在进行优化的时候难度就增大。在各种类型的网络结构中，总线（BUS）最简单，但一次只能收或是发一个消息。双向的环结构（Ring）可以做到同时收发，链路速度也快，但是内核大量增加后就不经济了，因为只有一条路可走。我们增加维度，2维的网状网络(mesh)可以处理大量并发消息，并且有大量的不同路由可供选择。如果继续增加维度，在交叉开关矩阵（Crossbar）的结构下，所有的核均可与其他核同时通信。我们看到，高维网络有更好的架构性能，但也更难优化设计。

如何选择合适的互连方案呢？我们认为，应该为实际应用提供合适的带宽。在万亿级系统中，芯片整体带宽要达到每秒万亿字节的水平，链路带宽要在数百 GB/s。我们的研究人员在基于性能、晶核面积和功率等相关考虑因素后，确定了2维网状网络作为万亿级芯片的片上互连网络方案。这个方案是连接多核的方案中，统筹性能和电源效率的最佳方案。

关于多核系统的内存容量和带宽

我们的解决方案是基于硅核植入（Through silicon Vias）技术的3维内存堆叠。基本原理是将内存晶片和CPU晶片叠放在一起，电源和IO信号从内存穿过到达CPU。每个内核都与3维堆叠内存直接相连。在我们的80核研究用芯片中，每个内核有256 KB SRAM内存，芯片上共有8490个硅核通道。由于每个内核都与3维堆叠内存相连接，系统同时满足了大容量和低延迟的要求。该技术已在小批量生产中实现，我们的研究人员正在研究如何推广到大规模量产的生产工艺。该技术出现在产品中只是一个时间问题。