科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道X86服务器南京大学大气科学院:如何每天储存TB级海量大气科研数据?

南京大学大气科学院:如何每天储存TB级海量大气科研数据?

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

讲起南京大学大气科学学院(简称“南大大气科学院”)的历史,可以一直追溯至1944年。作为中国最早建立的气象学系,其主要职责是研究气候的变化。请注意这里的措辞,是研究而不是应用,也就是说大气科学院更多的属性是科研机构。

来源:ZDNetserver频道【原创】 2015年6月30日

关键字: 南京大学大气科学院 HPC 浪潮

  • 评论
  • 分享微博
  • 分享邮件

ZDNet至顶网服务器频道 06月30日 案例采访(文/于泽):

每一两天产生2~3TB,大气科研催生海量数据

讲起南京大学大气科学学院(简称“南大大气科学院”)的历史,可以一直追溯至1944年。作为中国最早建立的气象学系,其主要职责是研究气候的变化。请注意这里的措辞,是研究而不是应用,也就是说大气科学院更多的属性是科研机构。至于为什么强调这一点,先卖个关子,后文会有进一步的解释。 

 南京大学大气科学院:如何每天储存TB级海量大气科研数据?

南京大学拥有中国最早成立的气象学系  

而说起南大大气科学院的主要研究方向,一般人听听就会晕,比如中尺度灾害性天气机理研究、数值预报的高时空分辨率数值模拟等,你理解是干什么的吗。为了更通俗易懂,这里就不列更多这样专业的词汇了,举个简单的例子感受下大气科学院对IT系统的应用需求。  

比如,以南大大气科学院所做的区域气候预测为例,其现在做的是4公里网格预报。什么概念?就是以4公里×4公里为一个单位,在全国960万平方公里进行划分,每个网格有一个监测点。单就此粗略估算,每计算一次,数据量都是相当可观的,可达到数个GB至数百GB(比如按每个监测点10K计算,测量一次的数据量为6GB)。当然,实际数据量可能还不止于此,除了地域的划分,区域气候预测还有一个监测维度是高度,从地表到30公里高的范围内,每隔一段高度都会有相应的监测点。这样一来,数据量又增长几十甚至几百倍。  

虽然这只是大气科学院的一个研究方向,但从中也能基本判断出其对IT系统的一些特殊需求,计算量大、存储量更大,典型的HPC(高性能计算)用户。而且由于存储量大,对于存储系统的读写性能要求还是很高的。按照大气科学院教授汤剑平话说,“气象研究的数据有两个特点,一个是量大,另一个是数据不能随便丢弃,其实也正是因为数据不能随便丢弃,使得数据量不断增加。”  

那究竟数据量大到一种什么程度?据汤剑平介绍,大气科学院一两天就会产生2TB~3TB的数据,最后用的不一定多,但是中间会有这么多数据量产生。同时,由于数据量大、且都是大块的数据,对于系统的IO吞吐要求就很高。汤剑平举了个例子,他们在做灾备的时候对存储的要求是4GB/s的IO吞吐量。 

海量、高吞吐、高可靠,“三高”需求存储系统如何满足? 

针对大气科研产生的海量、高吞吐、高可靠的存储需求,或许有人该说了,读写要求高好解决,上高端存储系统、装SSD(固态硬盘)不就行了。没错,SSD的并发读写性能很高,但问题是SSD每TB价格会比HDD(机械硬盘)高上数倍,且SSD使用寿命受限,一般也就5年左右。开篇我们提到大气科学院是个科研机构,财政拨款有限,采购硬件设备的费用是固定的,采用SSD在性价比上很不划算。 

如何找到更好的解决之道呢?这也是其采用浪潮解决方案的重要原因。 

回到项目本身,大气科学院此次一次性向浪潮采购了7台浪潮AS500系列存储系统,单台裸容量超过800TB,加上之前的存储系统,大气科学院如今的存储空间已达到了1.5PB。在汤剑平看来,这基本能保证1年半到3年的使用,之后可能还要扩容。 

解决了容量问题,汤剑平所说的性能和可靠性该如何衡量呢?第一,IO吞吐量,7台AS500系列存储结合用户现有的设备组成并行系统,7台存储同时读写,一方面保证了IO带宽,另一方面也保证了系统的容错能力。第二,可靠性,AS500系列产品的控制器、缓存、链路、电源都采用了冗余配置,没有单点故障,加上硬盘的高可靠RAID模式,整体提升了存储基础设施的可靠性,达到汤剑平所说的“一年一两次宕机可以接受,但十天半个月就出点状况的肯定不行”的要求,可以说是轻而易举。  

运行半年,浪潮存储交出满意答卷 

而截至当前,这套系统应用已有近半年的时间,这套系统用的怎么样呢?用汤剑平的话说还是很满意的。半年来,存储系统一直运行顺畅,在性能、容量和可靠性都满足了大气科研工作的需求。汤剑平表示,浪潮的产品性能不比国外品牌差,而价格却有明显的优势,对于他们来说这点很重要。 

说完了满意的部分,我们再说说有改进空间的地方。汤剑平表示,浪潮AS500系列存储总体来说不错,但有一些细节还是有空间的,比如外观设计,再比如管理配置。 

“在满足我需求的前提下把外观做好,当然没问题,这属于锦上添花”,汤剑平说,“但如果满足不了需求,外观再好也是白搭,我们做HPC的考虑的很简单,首先考虑的就是性价比,然后才是外观、配置管理这些细节。不过实话讲,我们也看到了浪潮存储产品的进步,五年前我就用过浪潮的产品,那时候把机器拆开,看到的和现在完全不是一种感觉,现在产品和国外大品牌相比毫不逊色。” 

 南京大学大气科学院:如何每天储存TB级海量大气科研数据?

AS500系列 

从汤剑平的回答中也能发现,他是个成熟的用户,对于自身的需求十分明确。在为大气科研的HPC应用购置存储系统方面,抓住了海量、高吞吐、高可靠这核心“三高”需求,而对花里胡哨的形式没有过高的要求,实用主义。而这其实也代表了很大一部分用户群的真实想法。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章