科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道服务器组件惠普:英特尔平台为AppSystem for Hadoop提供性能保证

惠普:英特尔平台为AppSystem for Hadoop提供性能保证

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

面对日新月异的IT需求,每家顶级的IT厂商都会提出自己一套的全方位战略与理念,并长期贯彻与执行。当云时代离我们越来越近时,清晰的基础设施、应用平台与应用软件三层定义也让厂商在相应的领域有了自己的方针与主张。对于如何应对未来挑战与需要,每个厂商都有自己的想法。比如在基础设施方面,已经开始从传统的服务器、存储、网络的不同搭配组合,开始向整合化与集成化的方向演变,这方面惠普的融合基础设施(CI,Converged Infrastructure)就是这一方向上的最早也是最彻底的实践。

作者:赵效民 来源:ZDNetserver频道【原创】 2012年8月16日

关键字: 英特尔 惠普 云计算 Hadoop

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共2页)

AppSystem for Hadoop的根本保障:英特尔平台+惠普最佳实践

AppSystem for Hadoop目前支持主流的三大Hadoop版本:Cloudera、Hortonworks、MapR,用于可以根据自己的需要来部署相应的版本,而惠普也针对性的推出了相应的集成方案,无一例外的,全部都基于英特尔至强平台。

惠普的AppSystem for Hadoop将开源的Hadoop平台以一个完整的企业级解决方案交给用户,在这其中加入了很多惠普的自有技术。比如为了方便集群的管理与大规模部署,集成了原来用于高性能计算集群部署的,非常成熟的HP Insight Cluster Management Utility(CMU)管理组件,与Hadoop集群相得益彰——30分钟内可部署超过800个节点

Martin Whittaker表示,数据分析是一种对计算能力需求非常强烈的应用,所以在做系统架构时,突出的需求就是要快、更快,可以说对速度的追求是无止境的,这一点很像高性能计算。因此,英特尔至强平台是显而易见的选择。AppSystem for Hadoop采用的是最新至强E5-2600处理器平台,以期获得最佳的性能表现。Manoj Suvarna补充到,在AppSystem for HANA的集成系统中,也是全面采用英特尔至强E7处理器平台(ProLiant DL580 G7),它为我们提供了最高的内存计算的性能。

AppSystem for Hadoop的Cloudera部署版本,采用的是HP ProLiant 360p Gen8(上)与380p Gen8服务器,配备E5-2600处理器,这是当前最强大的双插槽处理器平台

AppSystem for Hadoop的Cloudera部署版本的基本构成,它采用两台DL360p Gen8作为NameNode,DL380p Gen8为WorkNode(负责DataNode与TaskTracker处理器),一个单机柜的标配为18台DL380p Gen8与3台DL360p Gen8

Martin Whittaker始终强调惠普的研发重点之一是性能,而基于至强E5-2600的平台也不负众望。AppSystem for Hadoop的Cloudera部署版本单机柜18节点,在Terasort基准测试中,每节点的性能比2010年的Terasort冠军(采用16个至强X5670服务器的集群)快了3.8倍,比2011年的冠军(20个至强有E5630服务器节点)快了的2.6倍,并且测试时的处理数据量从100GB提高了10TB。

具体来说,18节点的DL380p Gen8(测试配置如上图)的10TB数据排序用时为5128秒(约1个半小时),合1.99GB/s,对于100GB数据量,排序时间为55秒,合1.82GB/s。而16节点至强X5670服务器集群的100GB排序速度是236.3秒,合433.3 MB/s,20节点至强E5650服务器集群的100GB数据排序速度为130秒,合787.7MB/s。由此可见,基于新一代至强E5-2600平台的Hadoop集群的威力。

HP AppSystem for Hadoop的Cloudera部署版本Scale Out方案,借助HP Insight CMU可实现快速的扩展部署。由于已经有NameNode、Management Node,所以新的机柜全部是WorkNode,共19台ProLiant DL380p Gen8服务器——228个核心、1216GB内存、304TB存储容量

Martin Whittaker指出,除了在性能方面的领先,惠普的解决方案在成本和空间的节约上也非常高效。惠普多年来一直致力于打造融合基础设施,所以在服务器、存储和网络等都是一体化设计,当然前提是保持高性能。而且惠普Hadoop解决方案用的都是以太网,速度非常快,成本也低,是非常成熟的数据中心连接。而有的厂商采用InfiniBand连接,使用少,成本较高。并且他还强调,惠普在高性能计算里的成熟经验与最佳实践,也使其在Hadoop集群部署与管理方面得心应手,比如前文提到的Insight CMU,就是惠普独有的优势。

对于英特尔针对至强平台优化的Hadoop发行版本,Martin Whittaker表示对AppSystem for Hadoop没有影响。“我们与英特尔有着广泛与深入的合作,在Hadoop方面,就像我们与SAP的HANA,如果客户有需求,我们会积极的将英特尔版本的Hadoop带给用户,一切都看用户的需求。”

毫无疑问,HP AppSystem for Hadoop将成为惠普面向大数据时代的基础平台,是对当前AppSystem产品家族面向数据分析的强有力补充。而伴随着微软SQL Server 2012数据管理平台的推出以及微软版本Hadoop的诞生,我们可以想像面向SQL Server 2012的惠普Hadoop方案也必将出现(在SQL Server 2012体系下,微软将数据分成了关系型、非关系型与流式数据三种,Hadoop将用于非关系型数据的处理),但相信其背后仍然以英特尔至强平台与惠普的最佳实践为坚实的保障。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章