科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道网格计算进入企业应用

网格计算进入企业应用

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

大众级别的计算机,宽带和开源软件使企业网格计算成为可能。目前,网格技术已经成为引人注目的、划算的、集合了大规模并行计算、增强的扩展性和企业级容错能力的解决方案。

作者:转载自《每周电脑报》 2004年3月23日

关键字: Web服务 网格 企业内部网

  • 评论
  • 分享微博
  • 分享邮件

在经历了四十年的准备后,网格计算已经处在成功的前夜。今年一月份宣告的WS-Resource框架解决了自1965年以来多处理器计算机出现的关于集中的问题,该框架允许通过Web服务协议管理网格资源。各个实验室为开发并行的处理方案一直进行着大量大胆的研究。

企业网格计算成为可能如今出现的大众级别的计算机,刚刚萌芽的宽带和开源的系统软件填补了整个蓝图中的其他部分,他们一起使企业网格计算成为可能。网格计算使不同种类的计算机节点通过自管理的软件作为一个单独的虚拟系统成为网格中的一个功能节点。在过去的几年里 eWEEK实验室一直跟踪网格计算的关键技术,今天网格技术已为迎接自己的黄金时代做好了准备,网格技术已经成为引人注目的、划算的、集合了大规模并行计算、增强的扩展性和企业级容错能力的解决方案。

不过网格技术遇到的障碍比以前其他技术遇到过的更大,因为一些主流企业的专家对网格技术是否适合日常应用持怀疑态度。Arnold Worldwide广告代理公司的首席信息官Jorge Abellas-Martin 曾经表示:“除非出于一些特殊的需要,比如特别高效的计算,繁重的金融市场分析,天气预报或其他一些以前需要超级计算机的领域,我想不出我们需要网格计算的理由。”

高高在上的多处理器服务器价格使得Ablellas Martin和其他人开始考虑连接和协调多台电脑的计算能力。他们想知道通过网格的自适应负载分配策略是否可以提高处理器的利用率从而降低成本。网格技术给这些持怀疑态度的用户的回答是:它可以让计算机的能力随处可用,而不是静态的分配。这样企业数据中心就可以成为这项服务的提供者,而不仅仅是一堆硬件的管理者。网格技术将是解决这一问题的关键技术。Abellas Martin和其他人也注意到,有些类型的问题和大规模并行计算联系非常紧密。这些问题被Sun公司的副总裁Shahin Khan称为“尴尬的并行”。因为他们在本质上是并行的,如果我们不知道怎么解决这类问题,那将是非常尴尬的。

生命科学问题如蛋白质的折叠是计算密集型的前沿课题。目前在计算时使用的就是装备大量处理器和相关支持软件的多处理器系统,如圣地亚哥超级计算中心的基于Linux的系统。在以前的数十年里解决高度并行的问题需要使用同等专业化的硬件。比如向量超级计算机。当时的开发、建造和编程成本和目前的网格系统一比,网格的成本优势马上显示出来了。

成本因素推动网格计算目前推动网格计算发展的动力是成本,而不是需求。那种不计成本只要解决问题就成的处理方式不是网格计算的推动力。特别是采用高密度的x86刀片式服务器堆叠,并运行基于Linux操作系统,其网格系统的价格和性能都是很吸引人的。“除了x86刀片式服务器进入大众市场和性能更高成本更低的互联技术,在过去的三四年里出现的很多技术都走到了一起。”Oracle的副总裁Bob Shimp说,“Linux是在过去的几年里成熟的一项关键技术。它不仅是一个便宜的服务器操作系统,更有趣的是它没有被设计成一个通用的桌面产品或服务器产品,因此它没有很多层,而这也使它更紧凑更快。”eWEEK实验室也评测了从手持PDA到企业产品中Linux的应用,结果也肯定了Shimp对Linux的评论。

从某种意义上讲,网格技术也可以说是企业级应用程序需求拉动的。因为商业数据的处理特点有点像过去所认为的科学计算。“数据处理的目的是从中得到有意义的见解。”Sun公司的Khan说,“少量数据很容易就处理了,但是如果是500万行数据那么就必须使用数据挖掘技术或可视化成我们可以理解的东西,这就需要高性能的计算方法。”

网格技术适用领域分析电子商务网站的数据处理,客户关系管理或金融服务都可以归为Khan所描述的类别,都是适合使用网格技术的应用领域。一个特别成功的使用PC机和开源软件构建的并行计算的例子就是Google的搜索引擎,它是由15000台电脑组成的集群(数据来自去年发布在 IEEE Computer Society上的一篇论文) 。Google引擎被设计成可以充分利用这些廉价构建单元的计算能力,它在不同的处理器上运行不同的查询,通过局部索引还可以在多个处理器上运行单个查询。

同样根据这篇论文,因为在处理数百兆的数据时,Google搜索的平均查询要消耗百亿个CPU周期。这使得Google追求的是最高的性价比而不是不管成本的峰值处理器性能。通过Beowulf集群技术,通过运行Linux或者FreeBSD的PC机就可以实现该配置。eWeek第一次评测Beowulf已经是几年前的事了。现在新的工具和技术培训使Beowulf技术得到了更广泛的支持。而这都为更具潜力的网格技术的应用做好了准备。

网络技术与集群技术的区别然而网格计算和集群技术也有着重大的区别。集群技术也利用低成本的构建单元,不过一般要求相同类型的机器或者至少类似,并且管理是集中式的。而网格更加动态,通常互联的是不同类的系统,各种虚拟的资源可能在特征和能力上都不同,并且他们可以自由的聚散。

2002年IBM的红皮书《网格计算的基本原理》上说:“通过共享各种资源的异质系统的连接创建出简单的,同时巨大的,功能强劲的和自管理的虚拟计算机系统。”“异质系统间的通信的标准化将创造新的互联网大爆炸,即将出现的共享资源的标准将是网格计算革命性的一大步。”

再进一步,系统期望的理想运行状态是通过一个最小的管理系统来集中管理,这即不类似于一个集群系统,也与服务器农场(Server Farm)的管理方式不同。在这里,单点控制方式将成为标准。网格所使用的仅是那些通常用途的协议,它与那些需要应用细节的系统,例如SETI@home并不一样。它必须为线性的商业应用程序提供质量保证服务。一个例子就是,自动负载平衡系统允许资源自由往返。大多数的点对点应用都是机会主义的应用,他们在需要的时候就可以获得相应的资源,但却缺乏一个为任务分配相应计算资源的高等级协议。

正确认识网格计算
网格计算是不是适合任何特殊任务的正确模型这个问题首先就是错误的。Khan说:“问题是你如何看待你的应用对计算能力和带宽的潜在需求。”一些问题需要一个大的共享内存,那么最好的解决方案是提供一个由多处理器快速连接的服务器。而其他一些问题特别是大量的数据处理而不是数据传输的时候,Khan建议使用由廉价的计算机和以太网组建的集群系统或者网格系统。他还说一个现代的计算机系统应该在能为某种任务提供最优的性能,也能灵活地处理大多数其他任务。

Sun公司的主席和CEO麦克尼利应我们的邀请也对这篇文章发表了评论,他强调说:“一种基于工业标准和开发接口的网络计算正在成熟。目前的情况是网格计算正跳跃式的增长。这也是计算机专家不断利用廉价的计算机的计算能力的结果。”

Web服务因为允许以请求即获得的方式提供相关应用吸引了企业应用的目光,网格也可以以这种方式提供相应的计算资源。同样的互联网成为了连接不同类型的计算机以及交换数据的平台,而标准的网格系统的目标就是以可管理的,容错的方式处理这些数据。

网格计算的特点:

  • 异构、灵活、可靠使网格技术和超级计算机技术,服务器和集群技术以及点对点技术区别开来。
  • 分布式控制既不像集群技术那么集中,也不像点对点技术那样分散。
  • 动态配置使计算机很容易的联合和分散。
  • 自适应发现机制使发现问题并不需要特别的配置。
  • 通过负载平衡并兼顾任务的优先级保持良好的服务质量(QoS)。
  • 对带宽的差异处理使得处理密集型的应用程序允许低速度的数据传输。

    网格应用的成功案例
    尽管网格技术还受到一些技术主管的怀疑,但网格技术已经实实在在地在各个行业中有了成功的案例。

     

     

  • 生物技术行业:
    Delaware Biotechnology Institute
    Oxford GlycoSciences
  • 医药行业
    De Novo Pharmaseuticals
    Inphamatica
  • 教育科研领域
    University of Durham
    University of Houston
    The White Rose University Consortium (Global Grid)
    China Grid
    TeraGrid
  • 制造业与设计领域
    Synopsys
    McLaren International
  • 石油、天然气行业
    Conoco
    Pemex
    处理器的多样性处理可以使不同架构的计算机系统, 比如向量处理器可以匹配不同的问题。(责任编辑:刘燕之)

     

 

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章