强外援英特尔助攻,阿里云大数据平台创世界纪录

作者:邹大斌   【原创】   2019-10-21 17:03:30

关键字: 大数据 英特尔

在国际大数据性能基准测试TPCx-BB中,阿里云MaxCompute与飞天AI平台核心引擎PAI以100TB的数据规模创造世界纪录,这一成绩背后离不开阿里云自己的努力,同时,也离不开英特尔等合作伙伴的鼎力支撑。

至顶网计算频道 10月21日 新闻消息(文/邹大斌): 国庆长假期间,一则关于阿里巴巴自研数据库OceanBase击败世界头号数据库厂商Oracle的消息引起了热议,源起是OceanBase提交的一份TPC-C测试结果远远超过了Oracle,荣登榜首。实际上,这并不是阿里巴巴首次在TPC测试中取得优异表现。此前的云栖大会上,阿里云就曾对外宣布,在国际大数据性能基准测试TPCx-BB中,阿里云MaxCompute与飞天AI平台核心引擎PAI以100TB的数据规模创造世界纪录。虽然分属于TPC不同的测试,但结果却一样亮眼,充分展示了阿里云的技术实力,以及其整合合作伙伴的技术的能力,比如阿里云MaxCompute和PAI破纪录就离不开英特尔的鼎力支持。

强外援英特尔助攻,阿里云大数据平台创世界纪录 

为什么要做TPCx-BB测试

TPC( Transaction Processing Performance Council,事务处理性能委员会 )是由数10家会员公司创建的非盈利组织,它的主要职责是制定商务应用基准程序(Benchmark)的标准规范、性能和价格度量,并管理测试结果的发布。目前,TPC已经推出了多套基准程序,面向事务处理(OLTP)的基准程序TPC-C(OceanBase提交的就是这个测试结果),和MaxCompute提交的面向大数据的基准程序TPCx-BB等都在这些基准程序之列。

其中的TPCx-BB是TPC制定的衡量大数据系统的性能基准测试标准TPC Benchmark Express-BigBench的简称, TPCx-BB通过最常用大数据应用场景来全面衡量系统软硬件性能。由于测试结果可以全面准确地反映大数据系统端到端的整体运行性能,因此也是最终客户选择最佳软硬件平台的重要参考标准。

此次测试的MaxCompute是阿里云的一项大数据计算服务,属于阿里飞天操作系统的重要组成部分,能提供快速、完全托管的PB级数据仓库解决方案,从而经济、高效地分析和处理海量数据,并支持SQL、MapReduce、Graph等多种计算模型。

据阿里云计算平台研究员、高级总监关涛介绍,阿里云从2015年开始进行各种各样的Benchmark测试。最初采用的是Sort benchmark,测试其在大规模数据集上进行排序的性能。后来阿里云发现,只做排序无法代表越来越丰富的用户作业场景,最后才选择了BigBench。

“之所以选择BigBench,一方面在于BigBench 作为TPC下属组织,相对比较权威;其次,BigBench中既包含了各种类型的工作负载,既有大数据的工作负载,也包括了机器学习的工作负载;既包含了结构化数据也包含了非结构化的数据。它要求提交的是一个非常丰富的测试结果,有30种不同的维度基准联合来测评,可以从不同维度来分析。”关涛表示。

而阿里云之所以要进行上述测试,关涛解释说,其目的是想以测试为抓手优化阿里云的系统,同时,也希望通过测试来体现阿里云的性能和性价比。

最后的结果也的确达到了预期,阿里云提交的MaxCompute的测试结果表明,通过持续的优化,MaxCompute表现非常优秀:是全球唯一一家通过100TB测试的系统。由于是唯一通过100TB测试的系统,为了方便跟其他系统对比,阿里云又分别在30TB、10TB级别上进行测试。结果表明,和第二名的对比,阿里云MaxCompute的性能快一倍的同时,成本大概可以降低一半。

“这个成绩意味着,如果我们用第二名的系统,在性能慢一倍的同时,成本上还要多花一倍。比如用户用第二名的系统需要1000台机器完成的工作,MaxCompute一半就够了。”关涛解释说。

软硬件结合,共同创造优异成绩

MaxCompute如此优异的表现自然离不开阿里云的努力,同时,也不得不提英特尔的鼎力配合。事实上,从2015年开始进行MaxCompute的测试以来,阿里云与英特尔一直密切配合。英特尔以软硬件全方位能力支持阿里云MaxCompute,在大数据引擎的标准适配、支持云计算模型、性能优化,以及最大化内存利用率等方面和阿里云深入合作,大大提升大数据分析的性能,增强云上的大数据挖掘和商业智能分析的能力。使得它在TPCx-BB中可以达到25641BBQpm(每分钟处理的请求量),最高性价比可达USD224.49/BBQpm。

强外援英特尔助攻,阿里云大数据平台创世界纪录
 阿里云计算平台研究员、高级总监关涛(左)与英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权(右)

关涛表示,双方合作过程中,英特尔提供了很大的帮助。首先,英特尔提升了自身硬件能力;其次,双方为软硬结合进行了优化,比如英特尔至强可扩展处理器引入AVX-512,从256位升到512位,进一步提升了性能;第三,在软件层面,英特尔也从功能性、扩展性上等进行了优化。这些功能叠加到一起让系统性能翻了一番。

英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权进一步补充说:“除了采用英特尔至强可扩展处理器外,站在软件角度,我们一起合作做了非常多的工作。比如,我们用了大量英特尔工具去分析性能,发现性能瓶颈并去突破;针对系统中很多核心算法或者算子,双方工程师一起合作去提高其性能。”

关涛透露,双方围绕MaxCompute开展合作三年来,MaxCompute的表现在持续改进,几乎每年都能获得性能的翻倍。而这个成绩的获得正是双方在软件、硬件以及软硬件之间的配合深入合作的结果。

而且,英特尔至强可扩展处理器的性价比优势也给MaxCompute的优异测试结果奠定了坚定的基础。TPCx-BB测试包括两部分,一个是性能,另一个运营成本,也就是性价比。此番测试成绩表明:基于英特尔至强可扩展处理器的MaxCompute,不仅具有领先的端到端整体运行性能,而且在云服务市场中率先获得可衡量的性价比优势。

另外,值得一提的是,英特尔作为测试基准BigBench的重要贡献者,在整个测试的过程还起到了一个关键作用。英特尔与阿里云开发团队深入合作,共同扩展TPCx-BB测试集,增加对MaxCompute计算引擎的支持,并一起在TPCx-BB委员会中共同推广MaxCompute,促成TPCx-BB官方测试集升级,继而正式纳入阿里云MaxCompute计算引擎的支持。

深入合作,共同创新

MaxCompute的优异表现是阿里云与英特尔深入合作的一个缩影,实际上,阿里云与英特尔的合作是全方面的,是从云到端的全面合作。双方在上海还成立了联合实验室,共同开展研究,MaxCompute上的很多创新就出自这里。

此外,双方在云计算方面还共同发布了“阿拉丁神灯计划”,共建“开发者云”平台。这一平台全面覆盖从入门级云客户到顶级ISV开发者社区,为开发者提供零门槛云体验。在该计划中,英特尔不仅提供第二代英特尔至强可扩展处理器、英特尔傲腾数据中心级持久内存、英特尔深度学习加速技术等先进软硬件,以建设“开发者云”平台,还将提供工程资源和推广方面的支持,促进阿里云平台的生态系统发展,并推动阿里云上的PaaS和IaaS应用。此外,英特尔与阿里云在物联网、边缘计算等方面也将继续深入合作,为各行各业数字化转型注入更强动力。

强外援英特尔助攻,阿里云大数据平台创世界纪录 

双方合作的另一个案例是奥运会。在云栖大会上,英特尔与阿里云签署了战略合作备忘录,并宣布将面向2020年东京奥运会和2022年北京冬奥会,在360 8K VR、3D数字孪生、云转播等领域展开密切合作;双方还将面向2020年东京奥运会,在人工智能3D运动员追踪领域展开合作。在这些创新领域,英特尔将提供高性能处理器和AI技术平台的支持,阿里云将在云基础设施和服务上发挥特长。

“阿里巴巴是奥林匹克全球顶级合作伙伴,阿里云会负责所有云和基础设施方面的工作,英特尔主要是在处理计算方面。同时,双方共同合作进行软件和基础设施的优化。还有非常重要的一点是,要想交付完整解决方案,就需要更多的合作伙伴。因此,英特尔与阿里云携手共同打造生态系统。”英特尔公司市场营销集团副总裁兼全球奥运项目办公室总经理Rick Echevarria在接受记者采访时表示。

实际上,对于英特尔和阿里云而言,互为双方生态系统的重要成员,这也是双方合作的大前提。另一方面,双方能力互补性强,英特尔在基础架构层面帮助阿里云打造出现代云基础设施,阿里云为英特尔提供丰富的场景,推动英特尔产品的持续优化和创新,进而双方共同为用户提供最好的云服务,为用户的数字化转型升级助力,最终实现了多方共赢的理想结果。

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:010-62641208-5060 举报email:jubao@zhiding.cn 安全联盟认证