科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航



ZDNet>服务器频道>ZD评测>应对数据爆炸带来的存储难题

应对数据爆炸带来的存储难题

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

全球数据量的猛增使得存储日益成为一个更独立的专业问题,越来越多的企业开始将存储作为单独的项目进行管理。而虚拟化、绿色存储、灾难备份等也成为了此次“网络存储世界/2008中国”的热点和焦点话题。

来源:网界网 2008年06月12日

关键字:华赛 绿色存储 虚拟化 赛门铁克 NetApp 服务器 存储

  全球数据量的猛增使得存储日益成为一个更独立的专业问题,越来越多的企业开始将存储作为单独的项目进行管理。同时,持续增长的数据存储压力带动着整个存储市场的快速发展,虚拟化、绿色、安全、重复数据删除、分级保护等成为了存储领域的关键词。

  5月底、6月初,由全球网络存储工业协会(SNIA)和《计算机世界》共同主办的国内存储业界的顶级盛会——“网络存储世界/2008中国”相继在北京和上海召开,今年大会的主题为“构建存储基础架构实现企业信息管理”。美国飞康软件公司、IBM、华为赛门铁克科技有限公司、NetApp、日立数据系统公司、赛门铁克、创新科等众多厂商,与第三方市场研究机构IDC和Gartner的分析师们汇聚一堂,共同探讨企业存储面临的挑战及解决方法。

  应对数据爆炸带来的存储难题

  2008年,伴随着新兴技术的发展和企业数据量的快速增长,存储日益成为了一个独立的专业问题,越来越多的企业开始将存储作为单独的项目进行管理。我们看到,持续增长的数据存储压力推动了整个存储市场的快速发展。

  谈到2008年全球存储市场的发展趋势,全球网络存储工业协会(SNIA)主席Vincent Franceschini指出,服务器和存储系统虚拟化进程的加快是2008年商业存储市场的重要特点;数据分类和分等级存储、自动精简配置、数据重复删除、安全和加密等则是2008年存储企业的发展重点;此外,Vincent还用三个“Green”强调了绿色存储的重要性。

  而虚拟化、绿色存储、灾难备份等也成为了此次“网络存储世界/2008中国”的热点和焦点话题。

  信息大爆炸带来三大挑战

  一封大小只有1.1M的电子邮件,到最终发送完成却消耗了51.5M的存储空间;一部电影就要在DVD上占据大约7GB的数据存储容量;在2007年,全球需要存储的数据就已经超过了整个世界的存储能力,并且今后这一差距还将继续拉大。

  “在当前这个数据世界,我们正面临着一场保护自我生命价值的战争。”IDC中国区副总裁万宁说。也许你觉得这是危言耸听,但是,我们在论坛上听到的类似观点却并不少。

  IBM系统存储部大中华区总经理朱国良与听众们分享了这样的一组数字:存储容量每18个月增长一倍,但是数据的增长是更惊人的:用于传统工作负载的数据库中的结构化数据的增长率是32%;诸如用户文件、医学图像、Web和富媒体内容的非结构化数据的增长率是63%;出于备份、归档和业务分析等目的而被复制的数据的增长率是49%。

  这些以惊人的速度增长的数据来自于全世界庞大的用户群:据Gartner的统计,目前全球约有8亿台电脑,其中中国就超过了5000万台。如果算上数码相机、可视电话、医学扫描仪以及安全摄像头等装置,全世界共有10亿多台信息装置。

  在2007年,IDC发布的一份报告称,2010年全世界创建的数字信息总量将达到988EB(1EB=10亿GB),约是2006年的6倍,而2006年创建的数字信息总量为161EB,就已经相当于有史以来所有书籍数字信息量的300万倍。

  在这个数据爆炸的漩涡中,企业无法置身事外,因为诸多因素共同驱动了企业的信息增长:小型企业的不断计算机化;法规遵从要求的信息归档和信息保密;具体的行业应用,如安全成像、电子商务、医学成像、传感器网络、客户支持应用(如网络上的“点击-通话”服务)等。

  综合来看,这种难以控制的数据存储的增长给企业带来了三大挑战。

  第一,如何更有效地存储。“约有85%的数据存储在个人电脑或是众多孤立的服务器中,数据管理分散造成了管理成本的增加,加之规则不统一,数据根本无法实现有效地共享。”创新科存储技术有限公司副总裁崔湧说。

  第二,如何做到绿色存储。日益扩充的存储设备带来了诸多问题,诸如电能消耗、散热带来的冷却费用增加、空间占用带来的投资增加、噪音等对人们健康的危害。那么,该如何实现绿色存储成为了摆在企业面前的难题。

  第三,如何保证存储的安全。这些海量的业务数据,约有65%存储在完全没有保护的个人电脑中,另有20%存储在没有完整保护方案的服务器中,只有约15%的数据受到了专业的保护。这就意味着,企业不得不关注数字世界里85%以上信息的安全性、保密性、可靠性和遵从性问题。

  虚拟化降低TCO

  Internet催生了大量以非结构化内容为主的巨型数据仓库,虽然传统NAS可以应对非结构化数据的存储和管理,但其在容量和性能扩展方面还存在不足,而很多新应用需要容量和性能同步扩充,并要求系统具备更强的可扩展性。“在系统扩展的过程中,如何实现资源与效率的有机结合,保证较低的TCO是企业面前的最大挑战。”华为赛门铁克科技有限公司营销工程部部长郑志彬表示。

  而这一最大挑战具体表现在,企业对高密、高容量、高性能、低功耗的磁盘的需求越来越高,大量异构系统纷纷涌现,应用软件不断淘汰和升级,管理的复杂性和维护成本持续上升。因此,企业只有制定相应的存储管理策略,才能降低TCO。正如Gartner的研究发现,企业用于复杂数据管理的存储设备开销将占到IT总投资的20%以上。

  虚拟化正是一种可以屏蔽系统复杂性,增加或集成新功能,仿真、整合或分解现有服务功能的技术。“存储虚拟化能让用户以更少的投入获得更大的回报。”NetApp亚太区解决方案营销主管Paul Kessler说。

  目前,用户可以在三个不同层面上实现存储虚拟化:基于主机的虚拟化、基于磁盘阵列的虚拟化和基于存储网络的虚拟化。NetApp将存储虚拟化技术应用到了FAS系列、V系列、虚拟磁带库(Virtual Tape Library)等产品线上,其可以在各个存储结构层提供虚拟化功能,并且所有NetApp存储平台都融合了这一功能。

  拥有40多年虚拟化技术经验的IBM,面向整个IT基础设施集成了大量的虚拟化管理工具。IBM系统存储部大中华区总经理朱国良详细介绍了存储资源虚拟化的三大优势:简化基础设施和管理工作,提高应用和信息的可用性,以及更灵活地响应客户要求。

“未来存储技术革新的核心目标将是降低成本,而服务器虚拟化将对数据存储的灵活性产生进一步的要求。”Gartner大中华区存储首席分析师张瑾说。“首先,高效的分级存储应该包含多种不同存储介质,如SATA、SAS、SSD固态盘等磁盘,以及磁带;其次,企业可以通过自动精简配置(Thin Provisioning)和自动化分级存储,降低存储的硬件成本,提高存储服务的服务质量(QoS)。

  致力于提供存储和安全融合解决方案的赛门铁克,也将其研发的重点放在了虚拟化上。赛门铁克亚太区产品营销总监杨志伟在大会上介绍了数据中心的全面虚拟化,通过建立虚拟的存储管理软件平台,让不同应用背后的不同服务器和存储共享起来。此外,赛门铁克还在探索终端的虚拟化,即将安全、资源管理和数据整合在同一个终端上,他们认为这将会是未来的一个趋势。

  绿色存储提高ROI

  如果按照电源的实际使用率在50%左右计算,那么,100台服务器每年360天、每天24小时运行的耗电量将达到54万度;每年有568亿千瓦的能量用于存储设备的供电和冷却;而冷却比服务器本身运行更耗电,因此当服务器成倍增加时,配套用电量将呈指数上升。

  上面这组数据来自3PAR公司,其产品经理Jinhui Pan在题为“绿色存储革命”的演讲中就已经表明了他们对绿色存储的态度。3PAR强调其效用存储是高度虚拟化、紧密集群化及动态分层的效用存储阵列,通过精简配置、精简备份技术实现绿色存储。此外,3PAR还与PG&E(Pacific Gas and Electric,北加州的电力和天然气公司)共同合作了一个绿色存储技术奖励项目,由PG&E提供经济上的奖励给3PAR的绿色客户。

  NetApp也在2007年提出了多元化节能策略,并提供了相应的存储技术和解决方案。NetApp认为,最有效的方法是采用以光纤附加存储(FAS)为核心的统一存储,把NAS、SAN及多元化存储功能融合起来,满足不同存储需求,以减少所需的磁盘和设备数量。

  此外,绿色存储与数据备份工作密切相关。“只存储变更了的数据,合理利用数据备份实现多元化应用,防止重复备份相同的数据,就能提高存储系统的利用率。”Data Domain中国区总经理张建新带来了他们基于重复数据删除的容灾技术。Data Domain的专利技术COS是一种将物体分解成组件、再将基本组件按照不同的指令组装成物体的技术。比如,一次存储中的四个组件已有三个在上一次备份过,那么只需存储这个新的组件和新的指令即可,这就节省了存储空间。

  IBM的朱国良从机房、软件、硬件等方面介绍了一个绿色数据中心的架构:机房层面,企业需要考虑整体节能设计,采用面向应用的智能能耗管理系统,并利用虚拟化技术整合设备数量;软件层面,企业可以采用针对应用优化的分层存储技术、精简配置技术以降低资源消耗,通过控制器自动调整功耗;硬件层面,采用低功耗的环保器件,购买高效电源和散热系统,并采用低功耗硬盘。

  存储安全形势依然严峻

  存储容量的迅速扩大,势必会带来数据快速高效备份和数据安全等方面的难题。事实表明,存储安全的形势依然严峻。

  “5%~20%的夜间备份是失败的,目前常见的一日一备的保护方式已经无法满足企业用户的数据保护需求,用户希望关键业务的恢复能够更快捷、更简单和更准确。”美国飞康软件公司全球行销副总裁江志祥表示。

  他介绍说,超过95%的数据丢失发生在本地站点,其中53%的数据丢失是人为误操作、数据库受损、系统崩溃、补丁升级、病毒入侵、黑客攻击等“软”错误造成的,其余的47%才是由自然灾害、硬件故障等“硬”错误造成的。

  同时,飞康也发现,客户需求在不断变化,用户需要在线保留更多数据以确保快速恢复;需要保护远程站点并进行有效的灾难管理;需要考虑“灾难恢复一致性”的问题。

  这些都给传统的备份方式提出了新挑战。在传统的磁带备份模式下,每天只有一次备份,系统的可靠性、扩展能力和升级能力都不足,同时备份代理还影响了主机性能,LAN成为性能提升的瓶颈。

  此外,创新科的崔湧更是创新地提出了“云存储”的概念。云存储是架构在Internet上的新兴存储服务,所有用户共享数据,当相同内容的数据存在时,用户就不必重新上传,这就节省了存储空间。而创新科的WebDisk可以协助构建各种规模的云存储平台。

  WebDisk拥有分层的权限结构体系,系统管理员、空间管理员和一般用户都不能超越自己的权限范围,而数据加密传输和数据完整性校验则保证了数据的安全。目前,“云存储”是SaaS(Storage as a Service)的一种新形式,拥有难以预测的发展空间。

  中信控股公司信息技术部总经理助理刘永涛则从客户应用的角度,提出了自己对数据存储与业务连续性计划的几点思考。他指出,企业一般理解的灾备需求就是对关键数据、关键应用和主机设备的保护,但这是远远不够的。

  刘永涛表示,一个完整的灾难恢复计划,应该包括分析评估(灾难分析、环境分析、风险分析)、设计实施(恢复策略制定、技术方案制定、架构安装配置)、维护管理(灾备计划制定、测试验收、年度维护)三大步骤,只有这样,才能真正保证企业业务的连续性。

  链接:飞康新版VTL/CDP突破传统灾备概念

  在本届SNW上,飞康发布了两款全新数据保护及灾备解决方案——第5代虚拟磁带库(VTL 5.0)及第6代连续数据保护器(CDP 6.0),两款全新解决方案通过飞康的“TOTALLY Open”架构,突破了以往数据保护方案只能针对单一灾难、单一保护的弊病,给传统备份与容灾带来了重大变革。

  Gartner的分析师也表示,企业级备份/恢复解决方案正面临着变革,预计到2011年,恢复管理解决方案将全面取代传统备份方案。而飞康的VTL与CDP正是以恢复为导向的数据保护解决方案,结合了快照、复制、虚拟化、连续数据保护等多项前沿技术。

  飞康VTL利用智能的备份加速器功能,使SAN环境下的存储与应用服务器分离,备份数据直接通过SAN 4Gb/s光纤通道写入到备份服务器,避免了传统备份架构下以太网网络带宽的局限。此外,VTL紧密集成了集群式重复数据删除(Clustered de-duplication)和远程复制技术,能节省20倍以上的备份数据空间和90%以上的异地灾备带宽。

  华赛推出S5000系列存储产品

  华赛也在本届SNW上推出了全新的存储系列产品——OceanStor S5000,该产品贯彻了节能、高可靠、高可用和易管理等设计理念,可以很好地满足运营商的电信级应用和中大型企业级应用。S5000系列具备Active-Active冗余控制器、可选交/直流电源、智能CACHE镜像、一体化UPS保护、数据保险箱、磁盘预拷贝和多类别主机接口。

  华赛Oceanstor S5000系列采用大容量、高密度的24盘位设计并结合一体化UPS模块,4U的存储硬盘框内容纳了24块3.5寸硬盘。由于采用全直流供电模式,S5000系列的供电效率得到了提高,同时降低了供电损耗;采用符合流体动力学的风道散热设计并结合节能型元器件,根据温度实时调整风扇转速,根据负载压力自适应地改变CPU频率,通过磁盘停靠技术,合理使用磁盘转速。

  此外,S5000系列采用双控双活专利技术,两个控制器都处于激活状态,并行处理业务,一旦某个控制器出现故障,另一个控制器及时接管其业务。双控双活通过互为热备来确保系统高可靠性,还具有均衡业务量、充分利用系统资源、提升系统性能等优点。

综合评分:8.35 分
云能力:7 分
营业额:67.3亿美元[2012]
云服务:赛门铁克云备份

查看更多 >>

邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅ZDNet技术邮件将是您的最佳途径之一。