扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
ZDNet至顶网服务器频道 09月04日 新闻消息:实施大数据项目,会面临超大数据量的收集、存储和分析等问题。这些问题对传统企业来说,是很大的挑战。同时大数据项目的实施,也需要新兴的专业知识,以便能够从洪水般的数据中提取有价值的信息。因此,企业应重新思考如何收集、分析和存储这些大量的数据。
大数据,大挑战
那些传统的实体公司,都会有自己不得不面临的挑战,而这些挑战根源也并非仅仅只是缺乏数据信息。其实,从群发的邮件、摄像机的视频、销售点系统、库存系统和大多数企业的报告中,大多数企业均可以收集到足够的数据信息来填充他们的大数据库。但是将如此众多的信息收集到一个单一的位置上,却是一个巨大的挑战。
将磁盘或磁带运送到一个中央位置上,然后再传到一个大数据库的方案,并非总是可行的。由于高速网络的延迟和网络质量,会极大地削弱实际吞吐量,在整个企业的网络中,传输这么多的数据信息往往也是不可能的。
还有就是,对于大多数数据库,用户通常喜欢在他们的本地设备上复制数据,而这又导致了需要在整个网络上复制千兆以上的数据。运用类似的做法实施大数据项目会导致网络成本飙升,性能表现不佳和用户挫折感增强。但是,企业又不能限制本地用户访问大数据。限制用户访问和使用大数据,是大数据项目的失败。
网络成本的膨胀是唯一影响大数据项目成本的因素。但是大部分企业还未把人力成本算上。鉴于今天的大数据市场的不成熟,据Gartner公司预计,企业需要在人力成本方面花费约20~25倍的费用,用于培训或聘请相关的人员来分析大数据。(相比之下,在成熟的市场,如商业智能系统市场,据Gartner公司预计,其咨询服务费用仅为供应成本的三倍左右)
云计算和数据加速软件 有助企业部署大数据项目
云计算对于大数据来说是相当完美的匹配。大数据所需要的存储、计算、功率、复杂的数据库的基础设施和高端的数据处理能力,均能够被诸如亚马逊网络服务(AWS)这样良好的云服务产品来满足。
AWS以极低的价格提供无限弹性云计算(EC2)、弹性块存储(EBS)和简单存储服务(S3)。它提供的DynamoDB是一款高度可用的分布式数据库集群,还有ElasticMapReduce是一个管理平台,支持基于Hadoop的分析栈。这些富有成本效益的资源和技术,帮助企业在亚马逊上建立自己的分析,获得更深入和更丰富的洞察。
即便这样依旧面临挑战——如何将数据转移到云或企业的数据中心。数据加速软件解决了这个问题。以在线路两端运行为实例,数据加速软件可以提高吞吐量超过200倍。例如,移动100GB的数据,仅仅只需6.2分钟,不再是22小时。数据加速通过优化协议、矫正延迟、复制数据,来最大限度地利用带宽。并且,在某些情况下,可以在传递过程中恢复丢失的数据包,而不需要重传上传,破坏吞吐量。数据加速软件可以按小时授权,对于那些只需一次性转移或不常转移的企业而言,成本可以非常低。
数据加速软件是,任何大规模的数据部署实现的关键一步。无论是部署在云中或在企业内部,其都可以缩短时间,汇总数据,极大地提高企业部署大数据项目的价值。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
现场直击|2021世界人工智能大会
直击5G创新地带,就在2021MWC上海
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
寻找自己的Flag
华为开发者大会2020(Cloud)- 科技行者