从清华大学高性能计算中心看新一代至强处理器的应用

高性能计算与虚拟化

记者：我有一个问题，北京某用户最近建立了一个计算节点，也是对外提供一个高性能的服务。不过它是以虚拟化的方式提供的，所以说我们用云计算的的方式来提供的，刚才你说给谁做测试的时候，发现有些地方速度慢了。是不是可以这样理解：高性能计算平台跑虚拟化会影响速度？

陈教授：我把这个问题重新解释一下，其实你在问虚拟机和高性能计算之间到底是一个什么样的关系，这个我以前与VMWare做过一个访谈，就是虚拟机和虚拟机之间的关系，我觉得从这几个角度来看。第一个角度，就是我们为什么要用虚拟机，就是HPC为什么要用虚拟机。这件事要先想，因为不是说有一个技术我就一定要拿来用，我根本不需要，我为什么要用他，实际上虚拟机提供的是一个什么样的东西呢？它能提供的是高性能计算系统的很好的管理性，比如说我们楼下的机器，128个节点的已经装好了操作系统，用户来用的时候，还有两个限制：第一个限制是说装好了是什么就是什么，你的应用不符合回去改应用去。比如说我的应用需要Windows，或者说我的应用需要Linux2.6的，你装的2.4的，对不起你会自己回去改你的程序去，跟我没有关系。我不会动你的东西。你知道那个驱动很难装，而且上面有很多参数，一个参数不对系统的性能就下降好多，而且老出问题，所以这个基本上就是你装好什么就是什么，我要求的应用和环境可能不匹配的问题。这是高性能计算用户遇到的第一个问题。

中国973项目就是一个自主开发的虚拟化技术项目，的主要研究方向有8个，第一个是虚拟计算系统的架构研究，由国防科大主持；第二个是单维系统资源的虚拟化研究，比如Xen和KVM的单机虚拟化，由北京大学主持；第三个是多维系统资源虚拟化，主要是多机环境下的跨节点虚拟化研究，由清华大学主持；第四个是桌面虚拟化研究，由华中科大主持；第五个是虚拟计算系统的安全、受信、隔离等研究，由上海交大主持；第六个是虚拟化系统估计研究，由浙江大学主持；第七个是基于虚拟化的高性能计算的研究，由江南计算研究所主持；第八个则是应用虚拟化仿真系统研究，由航天部二院主持

第二个问题是说我可能需要调试我的程序，就是我要调试、调优做这些事情，这些事情在生产系统上很难做，因为现在你是一个什么接口呢？是一个调度器接口。就是我提交任务，你运行，完了。就这样，你去排队，就不知道什么时候运行完。现在就是这个接口，没有别的。

又比如说我要登上去，看看我的机器有CPU利用率怎么样？或者有类似的需求，这个事儿很困难。因为这个机器一会儿给你用、一会儿给别人用，我把帐号给你了，你在里面搞一个破坏，你在里面装个软件，所有的性能都会下降下来，这没法弄。所以这是目前高性能计算遇到一个管理上的难题——应用和环境的不匹配。应用可能是开发者，他需要很全功能的开发环境、灵活的开发环境提供出来。所以虚拟机技术可以解决这个问题。也就是说我把虚拟机装上去以后，你要什么操作系统，我就在虚拟机上面给你装上这个操作系统，包括你的应用，还需要什么第三方的的库网环境我都可以装。而且虚拟技术我可以做到隔离，就是你做这件事不影响别人。

另外也是说，用虚拟机的时候我可以给你提供一个虚拟的专用技术。比如说128个节点，我就分32个节点给你。这段时间内这东西就是你的， 在你看来就是你的。你可以在上面爱装什么软件装什么软件，装什么测试、怎么去看、怎么去调、都随你。弄死了就死了，重新启动都可以，就是管理上很方便。

但是没有白来的事，好处是有了，缺点在哪儿呢？就是你说的这个问题。虚拟机在操作系统上面多加了一层。比如说你所有的系统调度都要经过它，所有的系统通信都要经过它，比如说I/O、通信这些事情就会慢。高性能计算的用户就会说（高性能计算）我本来就要快，现在弄半天给我弄慢了，这事不太好，所以这个问题很多人都在关注。实际上非常重要的是通信在虚拟机环境下的优化。

记者：他们说不是现在虚拟机可以直接接网卡么？万兆级的网卡。

陈教授：对，现在有很多工作都在做，比如虽然是虚拟机，不经过虚拟机的VMM，直接和网卡通信。目的就是我既可以使用虚拟机管理性，又可以把虚拟机带来的通信性能、I/O性能下降尽量减少。但是这个技术目前还没有完全成熟。

记者：我估计真要是做虚拟机的话，可能固态盘的优势就显现出来了。

陈教授：就是用它来放这些东西，读的带宽大就是很有用的。