选择X86平台构筑大数据平台的坚实基础

构建hadoop运算坚实的平台

百度构建了超大规模的服务器集群来运行Hadoop，其中日志处理与分析站到了全部hadoop集群的80%，处理数据量从几个G到上P，运行时间从几分钟到几十个小时。

谈到Hadoop集群的硬件基础，马如悦告诉IT168编辑：“百度使用的服务器品牌较多，市面上主流的服务器品牌均有涉及，但绝大多数都基于英特尔X86平台，配置则大体上是8核CPU(主要是英特尔至强7400/7500系列)，32GB内存，12TB硬盘。此外我们也在尝试定制自己的服务器。”

“选用什么样的服务器需要根据具体的应用而定。比如使用hadoop做日志存储和挖掘，可以参考百度上面的配置。如果是作为HBase的底层存储，并且有大量的随机查询，那么使用SAS硬盘，甚至SSD都是可以的。不同的业务需要不同类型的配置。即使同一个业务，也可能需要分层考虑。这样才能做到成本最低。”

大 体来说，hadoop应用对系统的要求侧重计算、存储与网络性能的均衡，这一点则正好与英特尔X86平台不谋而合。英特尔至强7400/7500系列 处理器已然为百度Hadoop集群奠定了坚实的硬件平台，今年英特尔发布的至强E5平台则无论在性能、吞吐能力和带宽方面都有均衡的提升。

英特尔最新一代E5处理器相比前代至强5600处理性能提高了80%，同时，英特尔E5芯片中的DDIO技术也大大提高整体IO性能，这一技术能把IO数据包指向处理缓存，跳过内存，从而能够大大减少延迟，增强系统总带宽，还消除了内存的功耗。英特尔集成IO把IO子系统移到了处理器芯片处下，同时得益于PCI-E 3.0的支持，可以把服务器平台的延迟减少多达30%，带宽增加2倍。

英特尔的大数据野心

基 于英特尔处理器的X86平台在构建hadoop集群时拥有得天独厚的优势，然而英特尔在大数据市场中可发挥的空间远远不止于此。前面我们提 到，hadoop对基础架构的要求较为均衡，内存、处理器、吞吐和网络都不能成为瓶颈，如今，英特尔也在万兆以太网、SSD等领域齐头并进。

目前千兆网对于HADOOP这种分布式服务器和存储架构来说已经不够用，很容易成为系统的整体瓶颈。因此在分配大数据时，需要更高的网络带宽。如今，虚拟化和多网融合正驱动万兆以太网发展，英特尔也在积极推动万兆以太网应用与普及。

英 特尔 X540是最新的万兆以太网控制器，也是业界第一块全集成10GBASE-T控制器，把MAC和PHY集成到了一个芯片上。据英特尔表示，X540网络控 制芯片适合搭配不久前正式发布的Sandy Bridge-E架构Xeon E5系列处理器使用。借助Xeon E5系列处理器的I/O连接界面，这个搭配可以发挥出更高的网络效率。

存储方面，英特尔于今年春季IDF大会上发布了基于PCI接口的 910系列闪存加速卡，它是一个半高半长的PCIe gen 2 x8卡，通过25纳米MLC闪存，分别提供400GB和800GB的存储容量，采用英特尔固件达到控制器功能。最高为18万次随机读取IOPS(4K块) 和7.5万次随机写入。对于存在大量随机查询的Hbase底层应用来说，SSD将大幅度提升整体系统性能。

此外，英特尔日前还首次发布 了Hadoop发行版。英特尔亚太研发有限公司总经理，软件与服务事业部中国区总经理何京翔博士介绍，Hadoop发行版的优势包括三点：首先，英特尔基 于开源框架针对英特尔平台进行了一系列优化工作，使得在英特尔平台上实现Hadoop，比非英特尔发行版获得性能的成倍增长，其处理能力达到“接近于实 时”的处理效果。同时，英特尔Hadoop manager 2.0简化Hadoop的部署与管理工作;此外，通过和中国电信、智能城市、医疗等行业领域的合作，英特尔Hadoop发行版还针对中国市场的行业和应用 特点做了更进一步的优化。

“我们已经认识到，现在互联网、移动应用加物联网时代，要求我们必须更贴近客户，了解客户需求，使我们的产品 和解决方案更加贴近于用户要求。不仅仅和硬件芯片相关，还涉及到软件应用水平、服务的水平，这也是我现在所在的软件及服务部门的宗旨之一，帮助英特尔在实 现未来十年愿景上提高一个层次。” 何京翔博士表示。

后记：潜入大数据的深水区

百度应用hadoop对其访问日志进行了多维度的分析，并以此作为决策依据，造就了中国互联网公司的典型代表。其中，英特尔X86平台为百度hadoop集群奠定了坚实的硬件基础。

在 很多人看来，大数据似乎与传统的半导体巨人英特尔毫无关系，并对英特尔是否有足够的能力抓住快速崛起的“大数据”机遇心生疑虑。然而，英特尔以实际的 步调和行动向我们证明：英特尔不仅牢牢把控着传统的硅晶体世界，也有能力在未来的大数据蓝海中赢得竞争。在这个“大数据”时代，英特尔正在用一个与众不同 的方式寻找自己在大数据生态圈中的位置和未来。英特尔正潜入“大数据”深水区。