Intel Boyd Davis：Hadoop助力大数据社会

ZDNet至顶网服务器频道 06月06日 大会报道：  以“大数据大带宽推动云计算应用与创新”为主题的第五届中国云计算大会今天在国家会议中心召开。为期三天的大会（6月5日-6月7日）中有来自业界众多的云计算从业人员。会上，Intel公司高级副总裁Boyd Davis发表了以“Hadoop助力大数据社会”为主题的演讲，以下为演讲内容。

非常高兴，我第一次参加中国云计算大会，我知道本次的云计算大会非常的重要，它不仅对中国的云计算产业很重要，而且对全球的云计算产业同样的重要。我非常高兴能够代表英特尔公司参加本次大会，我也想跟大家介绍一下我们对大数据的理解。

首先，我想向大家讲一下英特尔是如何理解大数据的。我们在CPU方面，在芯片方面非常的有经验，我们主要是为像个人电脑 、平板电脑和其他的智能手机和数据中心提供我们的处理器以及芯片。我们也看到了在我们的行业出现一个非常值得人们关注的趋势，我们可以看一看这些技术的发展，1960年代产生了自动化的需要，由自动化引领，后来我们发现我们的问题已经不是关注和拉近人们的距离，而是关注用户体验，比如这种用户体验是不是高度定制化或者是个性化的，通过这种个性化的提升我们产生了很多大数据，我们相信接下来一轮信息产业的变革一定是会由大数据所带动的，所以大数据对于英特尔公司的策略以及未来的发展非常重要，这就是为什么我们和很多合作伙伴一起共建大数据的生态环境和平台。

再讲一下我们是如何理解大数据的。大家提到大数据会想到TB级的数据，但是其实我们这个行业考虑大数据的时候主要是考虑那些处理大数据的工作，比如说关系型数据库，但是发现像关系型数据库和传统的处理方法就不能适应大数据的需要。还有，大数据不仅仅关乎 于数据，也不关乎 于数据处理的工具，大数据所含有的商业价值也比一般的价值多很多，很多国家和地区认识到了数据能够变现，数据能够产生新的业务模式。

我们可以从另外角度探讨这一问题，比如说英特尔Hadoop这方面非常先进，中国市场的地位也非常的稳固，以前我们是一个芯片公司，现在我们已经开始关注Hadoop以及一些软件，因为我们发现通过Hadoop结合可以带来更好的商业机会。几年以前，我们和中国合作伙伴的合作模式跟现在已经不一样了，这主要是因为创新引起的。之前我们跟中国的合作发现每年中国移动产生很多大数据量，而且数据量已经提升了30倍。比方说对于一些运营商来讲，如果你提交的这个查询需要30秒的时间进行反馈的话你是接受不了的，1秒的反馈时间你能够接受。

现在这些大数据能使得公司更接近它们的用户同时为用户提供更好的服务。同时看到大数据在其他领域有很多影响，比如在智慧城市领域，中国正在快速发展当中，我们看到智慧城市利用了一些图像 的控制和监控的视频来提升交流顺畅 度，比如在重庆等等我们都用了这些监控的录像 数据提升公共安全或者交通的便利性。在北京的其他地方，跟以前是有很大的不同的，我们看到现在的北京是如果有智慧城市的项目在这里的话，相信大家上二环和三环就不会像现在那么沮丧了。

我个人认为大数据很有作为的一个地方就是医疗健康领域，我们和一家美国公司进行合作，它现在也在中国运行，我们通过这样的合作使得我们有能力进行。我的一个同事在很多年前得了肾癌，当时他用的治疗药品是传统治疗肾癌的药品，但是当时他能够获得一些利用最高级的利用计算机的机会，所以我的同事用这个机会破解了他基因组的秘密以及他自己肾癌基因组的秘密，他觉得似乎这个看起来结果更像是胰腺癌而不是肾癌，后来就根据这个计算结果将他的药物调整到了胰腺癌的药物，过了几个月他就得到了很好的治疗，而且大大延长了他的寿命。但是对于大部分人来说都没有这种利用超级计算机的机会，成本也太高，因此，如果我们能够将它做成大众用得起的这样一些服务的话对于我们是非常令人激动的事情，比方利用基因组的破解，在治疗各种疾病过程当中获得非常好的结果，这是我对于大数据最高的期待。

Hadoop从谷歌到雅虎 成为了开源性的大数据运用的工具，它不可能解决所有大数据的问题，它本身也不是一个所谓的解决方案。但是我们相信Hadoop这个框架 它是一个非常基础的框架 ，能够使得这个数据各种结果的应用放在这个Hadoop基础之上。在传统的产业当中，如果能够更简化Hadoop应用的话，那么能够给很多人带来很大的帮助，我们相信Hadoop这方面有非常大的潜力，使它更有容易部署、成本更低，并且也能够用到更广泛的应用领域当中，因此我们在各个领域当中对Hadoop进行一些改进 。比方说这个实时的分析更灵活 ，我们看到当今的这个Hadoop它是一种P处理的工具，它只能提供一些有限的价值，但是我们现在摆在这个平台它能够有更广泛的应用和广大的能力。

我们看看大数据现在有什么问题，比方选安全、实时响应、环境负载度、实现业务价值的途径等等，很多公司开始都是考虑我要处理什么样的数据，以及我们能够从这些数据分析当中得到什么样的价值，这是大多数公司考虑的问题，但是大部分的公司还是在考虑到底我该怎么办。原因是复杂度，有很多新的工具出现，需要人们学习相应的机会去掌握它们。我们从数据当中得到的一些分析，如果是能够实时一点的话才会起到真正的作用。解决这个问题如果采用高度集中或者垂直的方式来做的话对于很多用户可能是可以的，但是英特尔认为开放性能够使得我们在长期内获得更快更大的增长，而对于高度集中或者私有的封闭的方案可能是能够很快的解决问题，但是在长期来说对于大数据更长期的价值实现是不利的。

这个行业如果我们有一个开放性的可操作的这样一个基础或者框架 ，当然了，是以Hadoop为基础，但是要超越这个基础，才能实现在开放环境下的各种服务，为整个行业带来利益。随着我们加入到Hadoop生态系统当中，我们是完全投入到这个开放源当中，那我们在不断的为开源社区贡献代码 ，我们也利用了新的技术，Hadoop从某种意义上来说是一种低端低层的软件解决方案，它是针对非常复杂的这种解决。那么我们可以在硬件层增强这一平台的性能安全性，我们还可以和开源社区共同驱动新的项目，比方说我们在商业项目上的这些客户就能够有信息说我们能够真正坚定的执行开源。

我们很多机会扩大这个Hadoop使它进行商业扩展，我们看到有很多方法利用现有的技术使得Hadoop是更加有能力更规范的应用模式和应用系统，比方说通过处理器不单能够提高我们的计算 、连网、储存能力、磁盘性能，各方面都能够达到最好，我们使得Hadoop集群用户更容易部署，尤其是在存储控制方面，这样保证用户的数据只有用户他们自己能介入，我们希望Hadoop能够得到一个增强。

我们看一下这个结果，结果是很令人震惊的，有很多人把Hadoop看成是低端的工作负载，但是如果没有一个合适的工作环境的话，那么有可能Hadoop就只能用于低端的工作系统，但是如果是在TB的处理环境下，处理器上面1TB还有标准的Hadoop分发版情况下，看到它的处理能够提升50%，还有就是固盘能够增加80%，调解器和转换器性能提高50%，软件性能提高40%，系统表现性能在4个小时之内T处理的量能够在7分钟之内完成，能够处理完1TB的这种软件性能。

我们希望建立一个创新的软件的平台，我说过，Hadoop它本身不是一个解决方案，它是一个更低层底端的平台服务，大部分的应用价值都是来自于上层应用层的应用，大部分公司它们的架构框架，比方说在数据的布置会对数据进行挖掘和分析，那么很多时候发现这些相应的技能或者要求是比较复杂并且成本比较高，那么我们通过这样的一个Hadoop平台支持能够使更多的公司更好的利用他们的数据。现在能够针对文本搜索的数据进行全方面的搜索和语义分析，运行在顶层，并且能够把基于文本 搜索 来进行业务价值的提升。

我们看到不单是在应用层上面有发展，而且在服务方面也能够有发展，大数据来自于服务为基础的运用，大部分公司都会利用Hadoop提供安排一系列的服务，实际上在这些中国的公司都在考虑如何扩展它们和顾客的关系，提供一系列基于Hadoop的服务。大部分情况下我们看到这里面有很强的价值导向，就是可以利用我们英特尔提供的这种扩展的更丰富更有能力的Hadoop平台去做这些事情。所以说我们英特尔确实在这方面是有做出强烈的承诺，来使我们的这些合资公司具备这样的能力，而且我们在硅谷也有多年的经验，在软件方面也有很大的投入进行各方面的整合。对于过去的十几年我们有开放式模块化的运作方法，在中国和其他地方进行软件和硬件方面的开发和改善，那么我们相信在Hadoop方面我们也会采用同样的这种模式去做。

我说过Hadoop现在和未来是不一样的，这里给大家举个例子，就是这个图标，MapReduce是一种非常典型的分析，这种数据给我们提供价值的一种方式，这里列出了不同数据之间的关系，那我们要进行图形并行的分析和处理是非常难的，因为这些数据本身是不对称的，比方说他的微博帐户里面有更多的联系，比其他人要多一些，如果在平行的处理方式下很可能会使得这个群当中某些节点处在一种闲置的状态、不活跃的状态。那么英特尔就做了一种技术，它这种组织结构的数据通过Hadoop进行图形并行处理，明年会推出，我们会不断的推进。

英特尔是在各方面来推进这个开源，我们现在是全球领先的开源软件公司，我们有上万人的开发者，中国有超过1000个软件开发者，Linux的操作系统方面我们是非常领先的，包括核的贡献，在开源方面Hadoop不但是一个商业的软件，而且是一个主要的开源的来源。对于英特尔来说，我们开源这个软件，Hadoop不但能够带来很大的价值和现金流，而且能够推进整个行业平台的能力，所以我们希望能够围绕着这些开源的平台增强整个生态系统的能力。

最好的解决方案要基于最好的技术，英特尔是一个技术公司，我们的合作方能够为市场提供相应的解决方案，因为在储存层、网络层、计算方面都需要很好的技术最终才能够为我们的软件带来价值。您在考虑新的服务或者新的应用的时候，请加入我们的合作，因为我们能够为你们的业务增长提供很强大的基础，不单能够看到大数据，而且能够看到大数据未来的发展方向，相信你加入我们的话能够加入一个非常强大的网络在中国帮助大家搜集 你们相应的数据，来解决你们面对的问题，比方有很多服务伙伴，像SP这样的全球 性公司，ISV等等，也在我们的合作框架当中。我们是帮助大家强有力走向未来的推动工具。谢谢！