从清华大学高性能计算中心看新一代至强处理器的应用

HPC系统的处理器选择与调优

记者：我们也看到，很多HPC系统的CPU，其实并不是配这个系列的顶级的型号，比如说5600，这个服务器的高层版是5670，我看有些系统用的是E系列，甚至L系列的，你们既是评测者也是用户，你们怎么均衡？您刚才说了，内存可以定一个容量、定制化，CPU是怎么选择的？是通过高能计算能力除以节点数，算出一个基本的运算指标，然后再拿运算指标衡量现在CPU型号，是这么选择的呢，还是通过能耗，性价比还有性能的衰减幅度比较出来的？

陈教授：基本上是性价比，你说的性能衰减幅度也是这样的。如果两个型号价格差很多，性能差不多，我肯定选择低一点价格的。但是如果两个价格差得不多，性能差很多，肯定是选性能高的。实际上，做高性能计算，我们还是推荐尽可能用高端的CPU，因为这主要跟并行计算的特点有关，即使整个程序是并行的，但是还是一部分串行的。其实是希望把串行的部分提升得越快越好，CPU越快，执行串行部分的时间就越短，这样对于整个的执行效率有很好的影响。此外单CPU快的话，应用所需的并行度也可以降低，因为并行度升高了以后，开销也会更大，整个加速比还会下降。

至强5600家族产品系列（点击放大）

记者：CPU性能高了，就有一个功耗的问题，比如130瓦，95瓦，80瓦等等，这也是一个长远的成本的体现，可能体现在多年的时间上，比如用三年，三年的电费就显示出来了。刚才您谈到功耗测试，是用的SPEC那套系统吗？

陈教授：没有，因为SPEC POWER的那套测试，基本上是对数据中心的模式比较有用，它实际上CPU利用率是从0，10%—100%，每一个利用率上都算一个分，最后把它综合起来，这个在高能计算中基本不出现这种情况。一用就是百分之百，要不然就是不用。我们就是测百分之百和零两个值。

记者：您刚才说考虑性价比，选择CPU，选择高端的，功耗会比较高，比如140瓦，120瓦，中端的可能就是50，60，80瓦，这方面会不会考虑功耗的问题？

陈教授：一个节点的功耗实际上并不完全是由CPU决定的，还有很大一部分是由内存、I/O、网络决定的。CPU看起来功耗差很多，在反映到系统中以后，整个的功耗差别不是很大。CPU功耗的影响对整个系统的稳定性和密度的影响反而更大，对真正的运营成本的反映不是很明显。

记者：你们做过估算？

陈教授：是的，我们做过估算。这个差得不是很多。其实我们也考虑过用低功耗的CPU，当时做了一个推算，低功耗，性能也低很多，意味着要用更多的节点。刚才说了一个观点，我们希望单线程速度能快，这样跑并行应用也会快。所以采用低功耗CPU，虽然单CPU功耗较低，但整个系统所需的CPU个数较多，最后整个系统的效率不一定是高的。

记者：陈教授，我问一下加速比的问题，因为去年曙光5000出来以后，那个是基于WINDOWS的，不是LINUX，微软会帮他们调优。他们当时在做的时候，也是从一个、两个、四个、八个，一直调上去。他们有一个估算，要加速比达到多少。你现在测的只是一个单节点，有没有考虑到，系统扩展到这么大规模的时候，会是什么样的状况？

陈教授：如果是Linpack的话，Linpack通信不是它的最大的问题，你可以看到在TOP500，经常可以看到70%，80%，甚至将近90%的全机效率。可从应用程序的角度，你说的是非常大的一个问题，如果通信非常频繁的话，应用的加速比可能，比如到128个以后就下来了，实际上我们在和气象局在做一个天气预报程序优化的时候也是这样，原来到256，扩展性就停了，再多就下来了。他们希望做到4096个并行进程。这时候有两方面的工作可以做：一方面机器通信要快，就是要有好的延迟带宽特性，现在还多了一个，就是对MPI集合通信的硬件加速技术，最近这几个主流的厂商都开始支持这种技术。在此基础上，还需要进一步优化软件，减少通信量，减少通信次数，让通信延迟能够重叠等等。这里就有很多应用优化的技术，我们在做机器的时候是把这些分开考虑的，这个机器提供好的带宽，好的延迟，好的集合通信的支持，只要这些有了，我们先去测试，达没达到你宣称的延迟和带宽的特点，达到了以后，剩下的问题就是变成了应用调优的问题。

记者：院校科研对HPC应用要求，与像能源或者像其他的商业用户的高性能计算有什么区别？

陈教授：能源、商业用户跑的应用数相对会比较少，而且相对比较固定，比如就一个找油的程序，或者就是跑天气预报的程序，相对来说会比较集中，即使是应用程序不同，算法也会比较集中。所以它的购买相对来说更具有针对性，就是这类的应用，抽几个出来。学校里面，相对更多样化一点，比如生物的程序，整数运算和字符串匹配特别多。有些是“稠密矩阵”运算，有些是“稀疏矩阵”运算，不同的领域，不同的算法差很多，有的程序对I/O要求很高，有的程序可能就是没什么I/O，通信也很少，更加广泛一点。但是学校里面有一个好处，就是学校里面使用的软件大部分是有源代码的，要么是开源的，要么是自己写的，这个有什么好处呢？就是系统的一致性，连续性比较好，换一个机器，换一个品牌也是可以的，因为是商用软件，或者是原来写的软件，不太容易做移植。