富士通展示Dataffinic Computing高速大数据处理原型技术

富士通实验室正在努力满足在处理分析工作负载的大数据系统中加快处理速度的需求。

近日富士通表示，已经开发了一项新技术可以帮助在分布式存储系统中高速处理大数据，并且信息是保存在多个驱动器中的。这项新技术是在开源Ceph分布式存储框架上实现的，富士通认为它可以很好地运行以消除服务器尝试从这些存储系统读取数据时出现的瓶颈。

富士通工程师在博客文章中谈到了所谓的“Dataffinic Computing”技术，他表示，存储和服务器之间流动的大量数据是分析系统延迟的主要原因。但是通过在存储中处理这些数据，他们认为这样可以加快速度，因为不需要先移动数据。

Dataffinic Computing通过网络连接多个服务器，同时保持原始存储功能。富士通说，这种方法分解了非结构化视频和日志数据，让所有数据都更容易访问和压缩。

“这意味着分散于分布式存储中的数据可以单独处理，保持访问性能的可扩展性，并提高整体系统性能，”富士通的工程师声称。

富士通的系统还可以预测在分析数据时维护数据所需的存储资源需求。

“存储节点面临各种系统负载以安全地维护数据，包括错误后的自动恢复处理，添加更多存储容量后的数据重新分配处理，以及作为预防性维护一部分的磁盘检查处理，”富士通的工程师写道。“该技术模拟了存储系统中出现的系统负载类型，预测了不久将来所需的资源。基于此，该技术控制数据处理资源及其分配，而不会降低系统存储功能的性能。”

富士通表示，Dataffinic原型系统包括5个存储节点和5个服务器，由一个千兆网络连接。工程师们通过从50GB视频数据中提取出例如人和车等对象来测量其数据处理性能。

工程师表示，Dataffinic系统可以在50秒内处理这些数据，这比使用传统方法处理数据所花费的500秒缩短了10倍。

“这项技术可以实现对爆炸式增加的数据进行可扩展和高效的处理，”富士通工程师这样表示。

Constellation Research分析师Holger Mueller表示，富士通的这项新技术可能很有用处，因为存储对于依赖大数据的下一代软件应用来说至关重要。

Mueller说：“企业需要坚持数据进行时间分析、记录保存和法定监管。因此，存储硬件制造商必须创新，应对必须存储和处理的越来越多的数据。很高兴看到研发投资带来了新的高性能存储选择。”

下一步将是通过商业应用验证该技术。如果运行可靠的话，富士通计划在2019年之前将基于该架构的新产品推向市场。