威斯康星大学IceCube使用Dell HPC集群

威斯康星大学位于南极的IceCube项目需要一个新的服务器集群对原数据进行重构，以判断通过带宽有限的卫星传输哪些数据到威斯康星大学麦迪逊分校用于对未解之谜，比如暗物质和暗能量进行进一步的研究。

解决方案

在对三家供应商的服务器及处理器进行研究之后，威斯康星大学迪逊分校研究团队选择了采用Intel Xeon处理器的Dell PowerEdge R710以及R610服务器。Intel Xeon处理器能够更快地处理复杂的工作任务，和竞争对手的解决方案相比，Intel Xeon处理器能够提供多强的计算能力，同时为减少服务器的热量输出提供了帮助。这样一来，在南极的项目团队能够在冬季实验室燃料消耗有限的情况下对更多的原数据进行重构。

优势

在南极，用于IceCube项目的每箱燃料能够多进行60%的计算任务。

采用Intel Xeon处理器计算能力提高了3.5倍。

采用Intel智能节能技术，电力消耗减少了10%到20%，服务器温度降低了20%。

Dell集群的可用性达到了99.97%。

一个月之内完成服务器安装，不会对现有系统造成任何破坏。

集群远程管理使工作人员避免了在零下九十度的情况下还要去实验室所面临的危险。

中微子源于太阳以及其他的暴力天体物理源，比如爆炸的恒星，伽马射线爆炸以及涉及黑洞和中子星的灾难性现象。这些天文现象比宇宙中任何已知的来源放射的能量都要多。科学家想研究轰击地球的中微子，通过定位太空中的来源，了解释放这些巨大能量的机制。希望中微子能够帮助揭开所有暗物质及暗能量的部分未解之谜。(我们所能探测的物质以及我们所在世界的物质构成只占现存物质的四分之一。暗物质占物质总数的百分之二十三，其余的就是暗能量了。)

建立观察中微子的望远镜

研究暗物质并找到其来源面临着巨大的挑战。位于威斯康星大学麦迪逊分校的IceCube项目团队已经构造了一个可能能够提供答案的解决方案。

探测中微子的唯一媒介就是坚冰和清水。威斯康星大学麦迪逊分校的IceCube项目团队使用了埋藏在南极冰面以下2452米的一立方千米的原始南极冰。

尽管中微子很少和水发生相互作用，但是一些奇怪的中微子偶尔会与冰中的水分子的原子发生冲突。当出现这一情况时，会生成一种称之为介子的粒子，介子会放射出非常微弱的蓝光，称之为切伦科夫光。IceCube项目中使用了5160个传感器模块，以60个模块为一组，共组成了86串。这些传感器用于检测来自介子的光，从中微子传输的方向能够推断是哪些介子在放射蓝光。IceCube项目将这些方向映射到天体坐标，生成中微子的星空图，通过星空图可以识别出是哪一来源的天体物理中微子在放射。

需要一个新的HPC解决方案

地面上的IceCube实验室包括数据采集系统。探测器每年大概会生成0.5PB的数据流。所有的数据都写到磁带上，被带回到9184英里之外的威斯康星大学迪逊分校。如果这是传输数据的唯一方式的话，那么Merck博士以及他在全球各地的同事每年都要等上9个月，直到南极的夏天(从11月份到2月份)，这时飞机才能够起飞，飞到工作站提供所需的物资并取回数据。进行数据传输的另一种唯一的方式就是通过卫星，但是卫星的带宽却要比原数据流慢上整整20倍。为了能够使用卫星进行传输，在南极的项目团队必须对数据进行重构，确定将哪些事件传输回威斯康星大学迪逊分校，这样在威斯康星大学迪逊分校的团队才能够在全年都获取有意义的数据。

对数据进行重构需要高性能计算解决方案。在之前，项目团队使用了一个第三方服务器的HPC集群，但是并不能对工作负载进行及时处理。

威斯康星大学迪逊分校IceCube项目的计算主任Martin Merck博士说：“我们的确需要替换我们的服务器。之前的集群经历了项目的建设阶段，我们在生产阶段需要新的服务器。我们在威斯康星大学迪逊分校成立了一个小的工作组去了解不同的服务器供应商。我们选择了三家供应商，从他们那儿取了设备。我们搭建了一个测试实验以查看服务器是否满足规格要求，提供我们所期望的性能。我们还测试了可管理性与易支持性。我们进行的测试包括开服务请求，然后测试厂商对问题的响应能力以及建议我们如何处理在南极问题的能力。”

吞吐量和生产力多于60%

团队测试了采用Intel Xeon 5600系列处理器的Dell PowerEdge服务器。Merck 说：“Intel Xeon处理器访问内存速度更快，是原有系统的处理速度的3.5倍，这让我们能够更快地做出将那些数据发送到威斯康星大学迪逊分校的决定。更快地访问内存允许我们处理大量的需要大量内存进行计算的事件。在测试过程中，我们也看到了Intel Xeon处理器在相同的功率之下比竞争对手的解决方案提供了多于60%的吞吐量与计算能力，这样就能够进行更多的复杂性重构。也就意味着每箱燃料能够在工作站多进行60%的处理任务。”

团队最终购买了50台采用Intel Xeon 5670多核处理器的Dell PowerEdge R710服务器组成IceCube集群，另外使用5台采用Intel Xeon 5670处理器的Dell PowerEdge R610服务器进行集群管理。当请求减少时Intel智能节能技术会自动将服务器至于低功率状态。Merck 说：“使用Intel Xeon处理器能源使用减少了10%到20%，产生的热量减少了20%。在南极冬季的中期，每个月的燃料消耗非常快，Intel Xeon处理器为我们提供了巨大的帮助。”

在南极服务器散热会产生问题看起来似乎违背常理，因为只要打开窗口就行了。实际上在南极正是通过自动的散热孔实现的。但是问题是散热孔在暴风雪中可能会冻住。一旦问题发生，室内温度会飙升至114摄氏度。

平稳度过整个冬季

威斯康星大学迪逊分校最喜欢Dell服务器解决方案的原因是他们在销售方面获得了Dell工程师的支持，Dell工程师帮助设计的HPC解决方案易于管理，易于维护。

Merck 说：“可管理性以及支持的便利性是关键，因为我们必须能够培训两名非工程师员工在现场进行维护。Dell的服务器非常易于维护，此外，Dell为我们的员工提供了相当充足的备用配件解决方案指南。”

两名在南极度过整个冬季的员工将继续在南极度过整个冬天。IceCube实验室与Amundson-Scott工作站的距离是一公里。当室外温度是零下90摄氏度时，在外面步行是很危险的。为确保两名员工不必外出步行修复服务器问题，Merck团队为他们提供了Dell的远程管理工具。Merck 说：“我们对不同的管理工具进行了评估，我们的确很喜欢Dell的OpenManage 服务器管理员以及集成的Dell远程访问控制器(iDRAC)。我们还使用了KVM交换机。因此当我们的员工远程配置服务器、安装操作系统并进行远程维护时，不用经受严寒之苦。”

Dell OpenManage 服务器管理员提供了服务器配置，健康状况及性能视图，如果发现问题会发送告警。两名在南极的员工同样还使用了iDRAC 6企业版，该软件提供了功能强大，易于使用的远程管理及配置选项和警告，使使用远程控制台的特性进行远程服务器管理成为了可能。

一个月完成集群安装

Dell服务器易于安装，这使项目团队在一个月之内在利用南极的夏天，完成设备安装成为了可能。Merck说：“我们能够在不破坏正在进行数据收集的系统的前提下进行安装。因为新的集群已经投入使用，我们获得了99.97%的可用性。”

Merck估计在科学家能够看到星空图的第一个来源之前需要花费两到三年的时间收集数据。他说：“我们正在寻找其他星系的来源，同时也在进入新星正在形成的新区域，另外很多超新星活动也在进行。我们预计具有数百万太阳质量集中在这些星系的中心的是大量的黑洞。当这些黑洞吸收了更多的块，那么一些物质将被以非常高能量的射束驱逐出黑洞。我们希望高能量粒子中物质的相互作用将产生我们应该能够发现的中微子。”