智能数据管理方法论攻克非结构化难题

根据IDC对于当前数据增长的预测，到2011年将会产生1800艾字节新数据，每隔一年半，任何企业的数据将会翻一番，而且在这些新的数据中大概95%为非结构化数据，其中90%的非结构化数据在最初公开后从未有人访问过，也就是说固定下来成为静态数据。

然而对于这样的访问频率比较低的数据我们还不能删除，因为需要遵循一定的法律法规，如两会期间的报告，只在开会期间有人访问，会议结束后，就很少有人访问，但是政府报告是不能删除的。因此，我们需要对这些数据进行存储。

数据的爆炸式的增长将给IT数据存储管理带来新的挑战：

挑战一：面临日益增长的数据量，是否有足够的磁盘空间来存储?

挑战二：如此多的非结构化数据，如何进行非结构化数据的管理?也就是卷地访问控制管理。

挑战三：有如此多的访问频率低的非结构化数据，势必导致卷的保护的问题。

同时，许多企业无法预测存储的需求，即无法规划企业的存储;对于存储的维护和后期的管理;在很多存储管理员没有办法优化企业各个部门所创造的数据。将一切的数据都放到主存储上，导致昂贵的存储成本。这些问题都是企业数据管理所碰到的典型的问题。

除了数据爆炸式增长所带来的问题以及平时碰到的典型的数据管理问题之外，还会有一系列的问题，如认为操作失误导致企业应用的终端和数据的丢失;没有相应的措施可以管理数据优先次序与数据保存;没有更新灾难恢复措施;一些介质带来了很大的痛点;数据安全的保护措施不够。

针对上述问题，有没有一种解决方案，能够数据管理能够跟上数据的增长，并减少数据管理的成本?Dell提供了一套智能数据管理(Intelligent Data Management，IDM)的方法，IDM是一个管理数字资产的方法，能够让企业或组织拥有使其成功的信息，并能操控安全与成本。

IDM既是一套方法，又是一套解决方案，涉及到数据周期的每一环节，从数据的创建到数据的存储、数据的保护、备份或容灾，对访问频率比较低的数据的归档，以及到最终数据的删除。

针对不同类型的数据，这种活动频率比较频繁的结构化的数据和访问频率比较低的非结构化数据，在IDE方法论中，也有一系列的存储解决方案。

对于数据的存储和保护，有Dell的主流存储产品——Dell EqualLogic虚拟化对等存储，也有Dell自主品牌——Dell PowerVault系列，也就是MD系列的存储，还有Dell在2月份收购的第三代虚拟化、智能化存储领导者Compellent存储，也是Dell的最高端的存储解决方案;对于备份，由Dell EqualLogic实现;对预数据的归档，有Dell的DX6000归档存储解决方案。

在Dell的IDM方法论基础之下，推出了一套系统的解决方案：以EqualLogic PS系列智能虚拟化存储为主存储，统一存储由NX系列和Compellent系列，对数据的备份有EqualLogic系列，并且还有重复数据删除的系统解决方案。这就形成了一个以EqualLogic为主存储的存储云解决方案。

统一存储 集成所有

对于活动频率比较高的结构化数据的应用，如数据库和邮件的应用，对存储性能要求较高，使用光纤通道或iSCSI接口的存储，因为光纤通道或iSCSI的存储往往是从结构化数据应用的服务器出发的。对于这样的从服务器出发的数据的应用，去访问后端的存储，看不到整个存储，只是看到后端存储的一部分，并且是以一种QA的形式进行存储的。这样，主机访问后端存储是以一种独占的方式访问后端存储，就像服务器使用本地磁盘来使用。这一类应用可以使用高性能的存储。

非结构化数据的应用不一定是从服务器出发，往往是从大量的客户端并发去访问后端的共享的信息或资料，这时候，并发性信息是以文件的形式进行共享的，叫网络附加存储——NAS。

一个企业里面，这两种企业的应用往往是同时存在的，我们是不是既要建议一套NAS又要建立一套SAN?答案是否定的，我们可以进行统一的存储。

对于一些高性能的应用(如数据库)使用光线通道的架构，对于一般的应用(如AD、邮件应用)提供iSCSI接口的存储，对于一些并发性的客户端的存储(如虚拟化桌面应用)，提供NAS存储。通过把多种形式融合到一个统一的存储上面满足企业应用的需求，同时还能按照应用的类别做分类存储。Dell的Compellent存储就是统一存储。

数据自动分层

以Dell EqualLogic使用单一的存储池为例，可以实现数据的自动分层，可以按照不同层级的数据自动存放在不同层级性能的磁盘阵列的磁盘上。

Dell EqualLogic使用多个存储池可以实现手动的分层存储。把按照磁盘的转速或类型不同创建多个存储池。把一些在线的数据存放在高性能的阵列池中，如SSD存储池，把一些近线数据放在15000转SAS磁盘阵列所在的存储池中，把一些离线的数据放在低转速的大容量地SATA磁盘所在的存储阵列。

Dell EqualLogic自动固态磁盘分层：在一个单一的阵列柜通过固态磁盘和15000转的SAS磁盘进行混插到一个阵列里面，数据就可以按照应用程序的数据的热度进行自动的数据分层，把热点数据放到固态磁盘上。典型的如桌面虚拟化的应用，多个虚拟桌面同时访问后端一个共享的Image的存储，这个Image卷的数据就是一个热点数据，把它放到固态磁盘上面就可以大大缩短虚拟桌面的启动时间，解决了启动风暴的问题。

归档解决方案——对象存储

对于一些非结构化数据，在应用创建时，访问频率比较高，经过一定时间，这些数据的内容固定并成文静态数据，如一些文档、照片等，我们把这类数据称为对象。

归档实际就是对象存储，归档和备份不同，备份是数据的第二份拷贝，归档后的数据仍然是主数据，备份的目的是用于灾难恢复，提高系统的可用性;归档主要适用于访问频率低的数据的检索，可以提高系统的存储效率。　　

对象存储为什么是存储效率的优化?

在没有进行归档之前，主数据需要5TB存储空间，而如果按照一定的策略进行归档，把一些访问频率比较低的数据归档到性能稍低的二级存储上面，从主存储上面迁移到次级存储，并在主存储上以一些指针信息进行描述，便于后期对这些数据进行快速检索。整个归档过程都是基于策略的，是完全高度自动化的。