扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
ZDNet至顶网服务器频道 12月05日 新闻消息(文/刘树云): 人类从古至今都和数据息息相关,中国从古代战国时期就有户籍制度,全国的郡县制,中央政府管理着各地的方方面面,这些应该也算是数据的一种。时至今日,世界人口的增多,职业类别的增加,生活需求的多样化,人们对于数据的要求也越来越高。二代身份证的磁条可以用来购买火车票等多种交通工具票种。通过网络,全国各个火车站点都可以取票。有些人觉得,大数据的概念虚无而又飘渺,但我们却已经被大数据时代环绕,我们已经无形中已经成为了大数据的受益者。
交通,医疗,商业,社会的方方面面的大数据机遇无处不在。当然大数据依然有着无法避免的困难:处理数据复杂,节点有限;大数据的安全性;多类型和多维度带来的问题;成本相对较高;网络带宽的局限性。面对这些数据的问题,怎样解决他们才是我们需要迫切解决的。为解决大数据的难题,浪潮近日发布了一款云海大数据一体机,为解决大数据的问题提供了多一种的选择!
数据为我们提供便利,却也有很多难言之隐
我们日常生活,无时无刻不在和数据打着交道:一卡通的充值,水电煤气的缴费,平时上班走在路上抬头看看头顶的摄像头,每个人的医疗档案,网上银行,网上购物。这些都和数据息息相关。交通、医疗等行业与我们密切相关,我们一起通过它们来窥探一下大数据在我们周围的机遇。
每个城市管理者都要面临一个重大的问题,那就是交通问题。在交通领域,我们已经积累了数量级可怕的大数据。北京市的50万台摄像头可以每天产生3PD以上的量。一卡通,每天记录着每个人的出行信息,这些数据都可以作为解决交通压力的基础还可以通过历史数据进行挖掘,筹划成交通流量服务,推送给用户,为我们的出行带来实在的方便。
大数据依然可以帮助我们改变未来的医疗环境。引起每个人身体疾病的原因有很多种,遗传情况,职业,劳动类型,饮食习惯,有无病史,等等都要考虑在内。而现今实际情况是医生仅仅能对正在发生的症状下药,却没法全面的对患者的健康信息进行分析。我们如果利用大数据通过对既往一些健康信息的分析,那么可以把真正的健康状况甚至未来的健康走向分析出来,做到真正的个性化治疗。
无论是交通,还是商业抑或是医疗,大数据的机遇无处不在,大数据的好处多多,但是大数据也有它的难言之隐,我们之所以一直徘徊在大数据门口,就是因为大数据还有很多困难之处,面临的挑战也是不少的。
第一,是规模带来的问题。现有的IT基础设施实际上很难支撑持续扩展这个规模,其实放下数据或许只是需要足够多的硬盘即可,可是难处是在于要做处理,把对我们有用处的数据用某一种技术处理起来,现有的技术,其实都是有局限性的。
第二,是数据的安全性问题。故障总是客观存在的,无论性能再好的机子,硬件不可能从来不出问题,一般其中一个硬件出现故障,马上引起整个系统作回复,增加计算量,即便是规模扩展下去,意义也不大。
第三,就是数据处理多类型和多维度带来的问题。走到数据挖掘这一步,数据精细化分必不可少。可是环节很多,且每个环节对软硬件和IT基础设施的要求不一样,也就无法处理在数据挖掘里面的所有类型所有应用;对用户也不能要求过多,不能奢望用户将每个环节做到最好,因此用户需要的是一个一体化的解决方案。
第四,成本高昂。一个数据仓库要几千万搭成,能够处理的规模不过是TB级的,平均下来每个TB成本十分之高。如果真的要处理大数据,上十亿百亿的成本不无可能。这个成本对于用户来说是没有办法接受的。因此寻找一个低成本,高分析的大数据处理技术呼之欲出。
最后,大数据的响应速度问题。现在大家用的比较多的大规模处理数据就是分布式,比如Hadoop – MapReduce这样的技术。可是只依靠单一的方案很难解决问题。保障IT基础设施扩展性,单凭规模解决不了问题,还需要在横向扩展的同时要实现纵向的扩展。在网络和存储方面进行优化,在不同的解决方案之间,提供一个即时响应的数据解决方案。
浪潮大数据一体机三大优势提供全面的解决之道
大数据有以上众多的困难需要考虑,针对这些问题,根据当前的数据处理特 点,不难想到,大数据处理需要定制化、专业化的设备。为此,作为国有品牌的浪潮公司,最近推出了自己的大数据解决之道,即专业化制定高敏捷,高伸缩度的大 数据一体机解决方案。浪潮集团系统软件总监、云计算产品研发部总经理张东阐述了大数据一体机的三大优势。
1.软硬件融合成一个体系结构
浪 潮大数据一体机是将软件和硬件融合在一个体系里面,在体系结构有三方面内容。第一点就是计算节点,针对不同的应用,设计不同的计算来源,根据用户的具体需 求,比如对于数据耦合度要求高的,可以采用重载节点,多CPU多内存,根据具体需求也可以增加专用的加速芯片。然后就是通用数据单元,追求的是计算,存储 和IO。最后可以根据计算单元快速响应用户需求的实际情况,实现全局算法,降低冗余度。并且采用分布式存储,使它点和点在一个系统内部不会相差很大数量 级,计算节点、存储节点都会大大提高效率。以此加大数据分析的能力。
2.新型的数据处理架构。
首 先,数据本地化可以通过减少传输数据规模,提高数据的速度。其次,保证业务的连续性,保证系统的可用性和稳定性。在新型体系下,浪潮采用了多复本的方法, 保证可用性和稳定性。采用这种新型的处理架构,可达到三千到四千个计算单元重载节点增长良好的情况。充分发挥闪存盘=盘的技术,以其作为高速缓存,利用高 速缓存读多写少的特点,扩大闪存盘的优势。并且采用Read-Solomon算法优化分布式散列数据布局,满足文件高并发和高带宽双量需求同时平衡数据冗 余度。分布式技术是互联网行业用的非常多的一个技术,浪潮大数据一体机通过优化系统任务调度策略,对人物实现针对监控,并动态调整任务执行资源,减少满任 务数量,提高整体性能。
3.全环节覆盖
数据分析涵盖了前期采集直到后期数据存量然后处理。最后 还需要对所存储的数据进行分析。这一系列的过程融合了从硬件到软件的一系列手段,所有环节都涵盖在浪潮大数据一体机里面,为用户解决整体方案。为了满足不 同用户的需求,浪潮一体机可以针对重载应用,包括数据量特别大的和在线交易类型的即耦合度很高的。在这方面可以通过加大CPU,扩大内存,甚至加速来源来 实现大数据的处理分析功能。通用市场上的数据挖掘,浪潮一体机也可以轻松实现。由于浪潮一体机的全环节覆盖,面对海量平法数据,一体机的处理起来应该也不 在话下。
大 数据的时代已经来临,随着大数据逐步成为战略资源的一种,相信未来将会成为社会发展的重要推动力。目前的所有行业中,对于大数据的要求呼之欲出,单一的解 决方案无法完全克服大数据带来的一些难题。浪潮大数据一体机的推出对于解决用户的诸多问题提供了一个良好的选择。作为国有品牌,这样创新的举措值得我们骄 傲,但是,对于节约能源问题也是我们需要考虑的一个因素。希望浪潮能够沿着创新道路发展,代表我国的国有品牌有更出色的表现。