浪潮张东:大数据处理需要定制化、专业化的设备

ZDNet至顶网服务器频道 12月06日 新闻消息： 大数据时代到来，带来海量数据的爆发式增长，同时催生了多种数据类型结构，对传统大数据技术提出了挑战。在我国，行业客户是大数据应用的主体，区别于互联网应用，行业大数据的关联性强，大数据应用复杂，跨度更大，跨部门，甚至跨行业需求更多，并且行业用户需求处理准确性，相应及时性也远高于互联网技术，互联网模糊数据难以满足精确数据的要求，用户迫切需要企业能够提供适应行业大数据应用特点的全新的处理技术，提供软硬件一体化整合性产品和服务。

11月27日，浪潮集团大数据战略发布暨云海大数据一体机产品发布会在京召开。在当天的发布会上，浪潮集团系统软件总监、云计算产品研发部总经理张东全面解读浪潮基于推动中国行业大数据应用的大数据整体战略，并面向产业界细致解读了浪潮自主研发的采用全新技术架构的大数据处理平台产品——云海大数据一体机。张东指出：针对当前数据处理特点，必须依靠定制化、专业化的设备，帮助行业用户迈过应用门槛。

全分布式新型体系结构

云海大数据一体机采用全分布式大数据处理架构，将硬件、软件整合在一个体系中，采用不同的数据处理的架构来提供对不同行业应用的支撑。通过新型的数据处理架构，实现了计算随数据分布的数据本地化，保证了业务的连续性，即使三到四千个计算单元重载节点情况下，还能够实现相对比较好的扩展性。

在硬件方面，针对视频数据挖掘、在线交易这样的应用，由于这类应用对于计算量要求高，因此采用CPU多、内存多的重载节点，并增加专用的加速芯片，针对对计算、存储和IO均衡的应用，采用通用数据单元，第三类则是针对对数据处理快速响应的应用场景，提供轻量计算单元，而存储则采用整体一体解决方案，充分发挥新型存储节制的作用，比如闪存盘的技术，将闪存盘放在整个计算缓存里面做高速缓存，针对不同应用类型，实现全局的算法，降低冗余率，同时采用基于浪潮设计的全新大数据高速互联芯片以及高速互联TOP网络构成全新的网络互联，使整个平台的计算节点、存储节点大大提高运行效率。

在算法方面，云海大数据一体机采针对分布式计算的算法进行整体优化。众所周知，分布式计算是一个普遍应用的技术，在互联网行业里面，它可能对于任务这种一致性，对任务要求快慢并不是很高，比如搜索发出去一万个结果，可能回来是九千个，丢掉一千是无所谓的，但是行业应用是不一样的，所有的结果都需要全部返回来，因此优化系统任务调度策略极为关键，要对任务实现针对监控，并动态调整任务执行资源，减少慢任务数量，提高整体性能。

软硬一体全环节覆盖

云海大数据一体机是国产化软硬件一体的创新数据处理平台，针对重载应用、通用数据挖掘、海量并发数据处理及对高安全、高可靠有极端要求的四类应用处理场景，实现了全环节覆盖。数据分析涵盖了数据采集、数据存储、数据处理、数据分析直至展现储量，融合了硬件到软件的一系列的手段，所有环节都涵盖在一体机里面，为用户解决整体方案，实现插电即用。

全方位的专业化的服务

浪潮作为整体的IT解决方案的提供商，可针对用户在整个数据处理环节提供全方位的专业化的服务。浪潮将帮助用户明确应用需求，选择适合的软硬件架构，提供开发方面的支持，并帮助客户把程序从原有的模式移植到大数据处理模式下，帮用户调优，直至最后的服务，提供整体一条龙的服务。