南京大学大气科学院：如何每天储存TB级海量大气科研数据？

ZDNet至顶网服务器频道 06月30日 案例采访（文/于泽）：

每一两天产生2~3TB，大气科研催生海量数据

讲起南京大学大气科学学院（简称“南大大气科学院”）的历史，可以一直追溯至1944年。作为中国最早建立的气象学系，其主要职责是研究气候的变化。请注意这里的措辞，是研究而不是应用，也就是说大气科学院更多的属性是科研机构。至于为什么强调这一点，先卖个关子，后文会有进一步的解释。 

南京大学拥有中国最早成立的气象学系  

而说起南大大气科学院的主要研究方向，一般人听听就会晕，比如中尺度灾害性天气机理研究、数值预报的高时空分辨率数值模拟等，你理解是干什么的吗。为了更通俗易懂，这里就不列更多这样专业的词汇了，举个简单的例子感受下大气科学院对IT系统的应用需求。  

比如，以南大大气科学院所做的区域气候预测为例，其现在做的是4公里网格预报。什么概念？就是以4公里×4公里为一个单位，在全国960万平方公里进行划分，每个网格有一个监测点。单就此粗略估算，每计算一次，数据量都是相当可观的，可达到数个GB至数百GB（比如按每个监测点10K计算，测量一次的数据量为6GB）。当然，实际数据量可能还不止于此，除了地域的划分，区域气候预测还有一个监测维度是高度，从地表到30公里高的范围内，每隔一段高度都会有相应的监测点。这样一来，数据量又增长几十甚至几百倍。  

虽然这只是大气科学院的一个研究方向，但从中也能基本判断出其对IT系统的一些特殊需求，计算量大、存储量更大，典型的HPC（高性能计算）用户。而且由于存储量大，对于存储系统的读写性能要求还是很高的。按照大气科学院教授汤剑平话说，“气象研究的数据有两个特点，一个是量大，另一个是数据不能随便丢弃，其实也正是因为数据不能随便丢弃，使得数据量不断增加。”  

那究竟数据量大到一种什么程度？据汤剑平介绍，大气科学院一两天就会产生2TB~3TB的数据，最后用的不一定多，但是中间会有这么多数据量产生。同时，由于数据量大、且都是大块的数据，对于系统的IO吞吐要求就很高。汤剑平举了个例子，他们在做灾备的时候对存储的要求是4GB/s的IO吞吐量。 

海量、高吞吐、高可靠，“三高”需求存储系统如何满足？ 

针对大气科研产生的海量、高吞吐、高可靠的存储需求，或许有人该说了，读写要求高好解决，上高端存储系统、装SSD（固态硬盘）不就行了。没错，SSD的并发读写性能很高，但问题是SSD每TB价格会比HDD（机械硬盘）高上数倍，且SSD使用寿命受限，一般也就5年左右。开篇我们提到大气科学院是个科研机构，财政拨款有限，采购硬件设备的费用是固定的，采用SSD在性价比上很不划算。 

如何找到更好的解决之道呢？这也是其采用浪潮解决方案的重要原因。 

回到项目本身，大气科学院此次一次性向浪潮采购了7台浪潮AS500系列存储系统，单台裸容量超过800TB，加上之前的存储系统，大气科学院如今的存储空间已达到了1.5PB。在汤剑平看来，这基本能保证1年半到3年的使用，之后可能还要扩容。 

解决了容量问题，汤剑平所说的性能和可靠性该如何衡量呢？第一，IO吞吐量，7台AS500系列存储结合用户现有的设备组成并行系统,7台存储同时读写,一方面保证了IO带宽，另一方面也保证了系统的容错能力。第二，可靠性，AS500系列产品的控制器、缓存、链路、电源都采用了冗余配置，没有单点故障，加上硬盘的高可靠RAID模式，整体提升了存储基础设施的可靠性，达到汤剑平所说的“一年一两次宕机可以接受，但十天半个月就出点状况的肯定不行”的要求，可以说是轻而易举。  

运行半年，浪潮存储交出满意答卷 

而截至当前，这套系统应用已有近半年的时间，这套系统用的怎么样呢？用汤剑平的话说还是很满意的。半年来，存储系统一直运行顺畅，在性能、容量和可靠性都满足了大气科研工作的需求。汤剑平表示，浪潮的产品性能不比国外品牌差，而价格却有明显的优势，对于他们来说这点很重要。 

说完了满意的部分，我们再说说有改进空间的地方。汤剑平表示，浪潮AS500系列存储总体来说不错，但有一些细节还是有空间的，比如外观设计，再比如管理配置。 

“在满足我需求的前提下把外观做好，当然没问题，这属于锦上添花”，汤剑平说，“但如果满足不了需求，外观再好也是白搭，我们做HPC的考虑的很简单，首先考虑的就是性价比，然后才是外观、配置管理这些细节。不过实话讲，我们也看到了浪潮存储产品的进步，五年前我就用过浪潮的产品，那时候把机器拆开，看到的和现在完全不是一种感觉，现在产品和国外大品牌相比毫不逊色。” 

AS500系列 

从汤剑平的回答中也能发现，他是个成熟的用户，对于自身的需求十分明确。在为大气科研的HPC应用购置存储系统方面，抓住了海量、高吞吐、高可靠这核心“三高”需求，而对花里胡哨的形式没有过高的要求，实用主义。而这其实也代表了很大一部分用户群的真实想法。