Grid Application Development: e-Science Application using GT-4 and Web Services (1)

基本概念

网格计算是一个比较新的概念，其实说穿了也就是分布式计算的一种。它与一般的分布式计算不同的是，网格不受平台，语言甚至是地域的限制，它将各种异构的网络联成一体，利用所有可利用的资源，为普通用户提供了甚至比超级计算机还要高性能的计算能力。可以把网格想象成计算机领域的电站，在日常生活中，电能通过不同的电站输送至千家万户，而这些电能可能是从不同地方的电站输送过来汇集而成。网格与此类似，它给用户提供计算能力，而这些计算可能是从无数其他网络中的计算机搜集而来。网格与P2P最大的不同是，网格中的计算机一般都是高性能的计算机，比如像超级计算机，服务器，Cluster, 甚至可以是其它网络设备，例如传感器(sensor) 而P2P利用的基本上是台式机或笔记本电脑, 可以想象网格提供的计算能力是其他分布式计算所不能比拟的。网格更像一个平台而不单单是一种概念，它为用户提供了各种服务，比如完善的安全机制，同一的资源访问，资源的动态查询和聚合以及QoS服务。网格也使得构建网络虚拟组织(Virtual Organization)成为可能。

 

当然网格的最大限制是其开发和发布的复杂性，正式由于网格聚合了不同的网络和资源，这给开发，配置和应用发布和管理都带来了比一般应用更大的复杂性。许多流行的网格中间件系统和工具都极大的简化了这些操作。现在比较流行的主要中间件包括Globus, UNICORE, Legion, Condor, Gridbus Brober，Alchemi等等。本文将使用Globus Toolkit 4和Gridbus Broker作为主要网格开发技术。

 

Globus是一套完善的开源软件工具包用来构建网格和网格应用，它涵盖了资源管理（GRAM，GASS），信息服务（MDS），数据管理（GridFTP，Replica Catalog）和安全(GSI Security)这些网格所需要的所有组件，同时它提供了基于Web Services的多语言开发工具(WS Core)包用于网格应用的开发。GT-4.0提供了Java WS Core为Java开发者提供开发网格应用的API, GT-4所使用的Web Services被称为Stateful Web Services，它是Web Services Resource Framework（WSRF）中所说的Web Service，是对基本Web Service的扩展以便可以支持网格上资源的状态。WSRF由一组规范构成：Web Service Resource, Web Service Resource Properties, Web Services Base Fault, Web Services Base Notification, Web Services Topics, Web Services Resource Lifetime, Web Services Service Group 和Web Services Addressing。这些规范一起就组成了GT-4所要求的Stateful Web Services. 文章将逐步对这些规范进行解释和使用，GT-4 Java WS Core实现了所有这些规范并提供了许多特性，这些极大的简化了Stateful Web Services的开发，我们将在之后的文章中学习到。Globus Toolkit 4可以在www.globus.org网站下载。

 

Gridbus Broker是由墨尔本大学网格计算实验室主导开发的一个Java开源项目，它的主要目的是建立一个统一的资源调度服务，将基于不同中间件的网格资源进行统一的管理和任务调度。它实现了以市场经济模型为基础的调度算法并提供了XML-based的描述语言表示资源，任务和身份。用户可以利用Broker来提交，管理和监控运行与网格上的任务。可是为什么我们需要这样一个Broker呢? 想象一下，如果我们有不同的网格，有些基于Globus, 有些基于Alchemi, 还有些基于PBS或Condor, 如果没有一个调度员，要管理和提交任务到这些不同的资源是十分困难甚至是不可能的。Gridbus Broker就是这样一个调度员来协调用户和不同资源的通讯，用户不需要自己来管理所有的通讯，而只需要描述一下需求，然后交给Broker来完成调度的问题。这样一来用户只需要联系Broker就可以获得各个资源的详细信息，所有其他的复杂操作对于用户来说都是透明的。Gridbus Broker目前版本为2.4，它支持几乎所有主流的网格中间件, 用户可以在www.gridbus.org网站下载。

系统需求和配置

古人云：工欲善其事必先利其器。要开发网格应用，我们也需要做好准备工作和安装必备的软件。由于本文所使用的Globus Toolkit 4完整包目前不支持Windows, 所以对于使用Windows的开发来说，开发网格应用可能需要走些弯路。（我的建议是对于微软.NET开发者可以尝试使用Alchemi，这是一套基于.NET的API, 帮助.NET开发者开发基于Windows的网格应用）

Globus Toolkit 4的安装

所有的安装过程在Globus文档中有详细的介绍，此不赘述 请参考GT-4管理文档http://www.globus.org/toolkit/docs/4.0/admin/docbook/ ，值得注意的是，在Fedora Core系列操作系统下安装GT-4，所有系统自带的JDK和ANT都与GT-4.0存在兼容性问题，所以在Fedora Core下安装GT-4之前，请下载标准的SUN JDK和Jakarta Ant，替换系统原有的版本，不然将可能出现GT-4无法正常工作的情况。当所有安装过程结束，还有些额外的和安全相关的配置必须实现。要正常的使用GT-4，我们还必须配置Root Certificate Authority, Host Certificate和User Certificate, GT-4包含了一个用于开发的Simple CA, 对于没有合适CA的开发者是十分便利的选择(具体步骤请参考GT-4管理文档)。除了安装GT-4，用户还需要安装MySQL或者PostgreSQL以使Reliable File Transfer服务能够正常工作。

 

当一切就绪，我们就可以开始使用GT-4.0。首先需要初使化用户代理, $GLOBUS_LOCATION/bin/grid-proxy-init, 该命令将产生代理文件用于用户调用GT-4服务时身份认证。如果没有通过-out参数指定输出文件，命令将在/tmp目录下生成如下格式的文件x509up_u_[username]。现在，可以使用$GLOBUS_LOCATION/bin/globus-start-container启动GT-4服务器了，用户可以通过-nose参数来忽略安全机制，对于开发初期来说这将加快开发的速度，因为开发者不必考虑用户凭证的配置。但是对于通过WS-GRAM或GRAM服务提交任务的活动，GT-4必须启动安全机制。对于开发者来说，globus-deploy-gar命令将是常用的命令，它用于发布用户所开发的Web Services。

Gridbus Broker的安装

Gridbus Broker为用户提供了一套Java API,所以用户只需要下载它的开发包,将其Jar文件配置到Java类路径上就可以使用了。

Java IDE的安装

市面上有许多Java IDE，作者推荐Eclipse作为开发的集成环境，不单因为它是免费的开源项目，而且GT-4有专门的Eclipse Plugin可以简化GT-4 Web Serivces的开发。Eclipse可以在www.eclipse.org网站下载，其安装十分简单。GT-4的Eclipse Plugin可以在http://gsbt.sourceforge.net/下载。

总结

本文是系列文章的开篇，重点介绍了网格计算的一些基本概念和一些开发工具的安装和使用。接下来我将对分布式肾脏分析模型系统的需求进行分析，并讨论如何实现对legacy模型分析应用的网格化。

 

Copyright Reserved by Xingchen Chu,Research Programmer,GRIDS laboratory,Department of Computer Science and Software Engineering,The University of Melbourne.

email: xchu@csse.unimelb.edu.au
work: +61 3 8344 1335