科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道云计算将给众人超乎想象的计算能力

云计算将给众人超乎想象的计算能力

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

这是一个简单的问题,是克里斯托夫比希利亚为信心十足的Google应聘者们出的一道题。要顺利启动\"Google 101\"计划,比希利亚必须把项目的来龙去脉和Google\"云\"的些许魔力透露给合作对象,同时又不能深入\"云\"本身或揭示出核心机密。

来源:商业周刊 2008年7月8日

关键字: 云计算 Google 集群 服务器 数据库 雅虎 数据中心

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共2页)

与公司里很多已拿到博士学位的同事不同,比希利亚刚从华盛顿大学毕业就被Google录用,他甚至没读过硕士研究生。因此他渴望从Google的日常工作中抽出时间换换脑子。在Google,比希利亚每天都需要从公寓搭乘班车长途跋涉到公司,然后开始10小时的搜索运算法则的编写工作。他想回到西雅图,哪怕每周只有一天,回到学校去和他的教授兼导师埃德拉佐斯卡一起工作。

  在突发灵感想到"云"计划并直接和老板详细讨论之前,比希利亚并没多加考虑。他和施米特已相识数年。他5年前刚入职Google时还只是一个年仅22岁的程序员,其工位就在首席执行官的办公室附近。比希利亚回忆说,他走进办公室时被一架飞机模型所吸引,这让他想起母亲在美国联合航空公司从事的空乘工作。

  自然而然地,他与话语温和、有学者派头的施米特聊起了数据计算,那种感觉就像在大学一样。后来虽然比希利亚搬到了其他办公楼,但两人仍然保持着联系。在他们第一次讨论"Google 101"计划的那一天,施米特提出了很好的建议:把项目缩减到比希利亚能在两个月内完成的规模。"我实际上没太在意他的话,"施米特回忆说,但是他想尽快给这位年轻的工程师发出反馈。他说,即使比希利亚失败了,但"他很聪明,一定能从失败中获得经验"。

  要顺利启动"Google 101"计划,比希利亚必须把项目的来龙去脉和Google"云"的些许魔力透露给合作对象,同时又不能深入"云"本身或揭示出核心机密。这些机密会激发计算机学家无穷无尽的思考,Google对此守口如瓶,毕竟这台"超级计算机"是公司运营的支柱,它能自动处理

  搜索、放置广告、传递电子邮件等业务。计算机在从事这些工作,而包括比希利亚在内的上千名Google工程师仅仅只是"服侍"着它。他们"教授"系统新的技术或为它寻找新的主攻市场,同时在其中添加新的集群,2007年一年就增加了4个新的数据中心,平均每个成本达6亿美元。

  在搭建这台"计算机"的过程中,在搜索领域名声大震的Google随时准备扮演计算机业的新角色。不久之前,科学家和研究人员曾期望国家实验室能启动数据计算方面的前沿研究。如今,IBM负责开放系统开发的副总裁丹尼尔弗赖感叹:"Google现在做的事情10年前只有在国家实验室才能实现。"

  那么,比希利亚如何让学生们访问这台机器呢?最容易的方案当然是直接从学校连接专线到Google服务器。然而公司并不准备彻底放手让学生们随意访问这台装有授权软件、存储着私人信息以及运营着106亿美元业务的计算机。比希利亚因此购买了价位适中的40台计算机组成集群。

  他发出订单后开始琢磨如何给这些服务器付钱。就在卖家组装电脑集群时,比希利亚告诉Google的几名经理将出现一大笔账单。之后他"拿着花销报告从下到上请示了一通,结果没人反对"。说到这里,他又加上自己喜欢的一句格言:"请求原谅比寻求批准容易得多。"

  狂热的学习者 2006年11月10日,排成阵列的计算机群出现在华盛顿大学计算机科学学院的教学楼里。比希利亚和几个技术负责人得想办法把将近1吨重的机柜抬上4层放到机房里。他们最终解决了这个问题,并准备在第二年1月开始上课。

  比希利亚的母亲布伦达说,她的儿子似乎从小就注定要走一条不平凡的道路。他直到两岁才开口说话,但很快就开始成句成句地说。最早的一次是家人开车行至离家不远的华盛顿吉格港时,一只小虫子从打开的车窗飞进来,只听到从后排座传来比利亚的声音:"妈妈,有一件物体在我嘴里。"

  在学校里,这个男孩没完没了的提问和飞快的学习进度惹恼了老师。父母看到他很伤心、很受挫,便把他带回家教了3年。比希利亚说,那段时间他失去了很多小伙伴,但是学会了如何成为一个生意人。他对冰岛野马兴趣浓厚,并在十六七岁时投身到养马行当。

  他的父亲吉姆回忆道,一次,他们开车一直向北行驶到马尼托巴买了马匹,却并没有考虑如何把它们运回家。"整个旅行就像塞维蔡斯电影里的场景,"他说。比希利亚学会了用计算机为他的贩马事业和父亲的豪华游艇业务制作网页。比希利亚断定计算机比养马更有前途,因此义无反顾地报考了华盛顿大学,并选修了尽可能多的学科,包括数学、物理和计算机相关学科。

  2006年年末,当比希利亚往返于Google大厦和西雅图之间筹备"Google 101"计划时,他运用生意人的技巧,招募了一支组织松散的志愿者队伍。他和学院的实习生一起设计课程,还在Google公司位于学校附近的华盛顿州科克兰德分部拉拢部分同事,让他们抽出20%的时间来帮忙教课。

  比希利亚听从了施米特的建议,把"Google 101"集中在学生们在学习过程中容易上手的方面。"我基本想的是,什么课程我能在两个月里教会他们,同时又真正有用和重要?"他回忆道。最终他的答案是MapReduce。 比希利亚十分推崇MapReduce,这是Google数据计算的核心软件。公司著名的搜索运算法为每一次搜索提供信息,MapReduce则传递出速度。它把每个任务分解为成百甚至上千块小任务,然后发送到计算机集群中。

  眨眼之间,每台计算机传送回自己的那部分信息,MapReduce则迅速整合这些反馈并形成答案。虽然也有一些技术具有同样的功能,但MapReduce速度更快且显示出几乎可以解决无限任务的能力。提到MapReduce,比希利亚变得十分兴奋和狂热:"我记得刚毕业时来到Google学习MapReduce,这的的确确改变了我对计算机科学乃至所有事情的想法。"他把该软件称为"非常简单却极其卓越的模型"。这个软件是由其华盛顿大学校友杰弗里迪安开发的。因此通过回到母校教授MapReduce,比希利亚会将这个软件和"这种思考方式"带回源头。

  只有一个阻碍。MapReduce曾经安全地"沉寂"在Google主机中=? 而且不允许外界使用,对于"Google 101"项目也一视同仁。Google曾拿出一部分相关信息与他人共享,以开发开源版本"Hadoop"。当时的想法是在不泄露核心技术的前提下,推动自身的标准成为"云"计算的体系结构。

  开发Hadoop的团队属于一家名为Nutch的公司。说也奇怪,这家公司现在归入雅虎麾下,雅虎希望依靠MapReduce的衍生产物给自己的数据计算提供一点Google"云"的魔力。好在Hadoop仍然保持开源状态,这意味着Google团队能对其加以应用并可免费安装在华盛顿大学的计算机集群中。

  "Google 101"一出现在冬季学期的课程安排中,学生们立即蜂拥而来选修这门课程。起初比希利亚和Google的同事们尝试自己教课,不过后来他们及时地把这一工作转交给华盛顿大学的专职教员。"他们的讲解更加清晰,"比希利亚表示。接下来的几周里,学生们学习如何调整自己的程序来适应Google计算机,并雄心勃勃地设计开发网络规模的项目,这些项目涵盖了从维基百科的编辑分类到互联网垃圾邮件的鉴别处理等各个方面。

  2007年的整个春天,有关这门课程的消息不胫而走,其他大学的院系也开始要求参与"Google 101"计划。很多人迫切渴望了解"云"的相关知识和计算能力,特别是在科研方面的计算。实际上在每个领域,从各种传感器、分析设备以及先进的测量工具产生的大量新数据浩如烟海,让科学家们大伤脑筋。这些数据可能用于开发新药品和疗法、制造新的清洁能源、甚至预测地震,然而绝大多数科学家缺少设备来存储和筛检这些"数据宝藏"。"我们真是被淹没在了数据里,"美国国家科学基金会的助理主任周以真(Jeannette Wing)表示。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章