中国信息官CIO精英 前沿视野 经验之谈 职业发展 信息官杂谈 | 产品资讯笔记本 商用电脑 服务器 办公 网络设备 存储设备 软件 显示设备 其他

您当前的位置: 首页 > 基础设施 > 网格 〉美、欧网格技术发展现状分析与思考

美、欧网格技术发展现状分析与思考

2008-01-22 11:54:33

    随着因特网的普及,网络技术已经逐步融入到我们工作、生活的各个方面,并且成为保证社会正常运转的重要因素。今天,高性能的计算机、大容量的存储设备以及高速度的交换网络使得硬件基础不再成为信息技术发展的瓶颈。那么随之而来的资源可利用率、信息服务质量等则成为了制约信息技术发展的新的因素,信息时代的人们面临着一方面是无处不在的海量信息资源,而另一方面却无法获得有效资源的尴尬局面。于是,一项新的技术——网格 (Grid)技术就应运而生了。
    网格被誉为继互联网和Web之后的第三次信息技术浪潮。它是利用现有互联网的架构,把地理上广泛分布的各种资源,包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等整合成一个逻辑整体——台虚拟的超级计算机,它能够为用户提供一体化的信息和计算、存储、访问等应用服务,虚拟的组织最终实现在这个虚拟环境下进行资源共享和协同工作,彻底消除资源“孤岛”[1]。
    网格构想的提出和当前全世界正在兴起的有关网格技术的研究越来越清楚地告诉我们,一种信息社会的新的基础设施正在出现。这种变化将不仅仅是一种技术上的变革,而且将根本改变我们的研究方式、教育方式、生活方式与生产活动的方式。从20世纪90年代中期开始,美国、欧洲等发达国家都已启动了大型网格研究计划。我国也于20世纪90年代末通过“863”、自然科学基金等设立了网格专项研究,对网格有数亿元的投资[2]。本文将重点选取美国、欧洲的几个典型的网格研究计划进行介绍,希望我们能够从中获得一些有益的启示。
        1 美国网格技术研究发展现状
    从计算机问世开始,美国在信息技术领域就一直处于世界领先地位。为了保持这种领先地位,从20世纪90年代中期开始,美国自然科学基金会、NASA等组织、部门以及美国军方都相继投入大量资金用于各自领域内的网格研究项目。到目前为止美国政府用于网格技术基础研究经费已达5亿美元[3]。这里将就几个典型的网格研究项目分别进行介绍。
      1.1 NPACI Grid
    NPACI(National Partnerships for Advanced Computational Infrastructure)Grid是由美国自然科学基金会(NSF)资助的网格研究项目[4]。其目的是建立一个能够满足NPACI科学计算需求的先进计算机体系。其运作方式是这样的:研究人员首先从试验或是数字图书馆收集数据,然后通过运行计算网格上的模型来对数据进行分析,并通过Web实现这些数据的共享,最后将分析结果通过数字图书馆发布。NPACI Grid由一系列分布于各个资源站点的硬件资源、软件资源、网络资源及数据资源构成。这些站点主要包括圣地亚哥超级计算中心(San Diego Supercomputer Center,SDSC),德克萨斯先进计算中心(Texas Advanced Computing Center,TACC)及密歇根大学(University of Michigan)。目前这些资源站点已经安装了集成的网格中间件集合和先进的NPACI应用软件。而NPACI Grid在加利福尼亚技术协会(California Institute of Technology)的安装、配置工作也即将完成。
      1.2 TeraGrid
    TeraGrid项目于2001年8月由美国NSF支持启动,旨在构建全球范围最广、功能最全面、支持开放式科学研究的分布式网格计算体系,其新增项目见表1[5]。该体系将能够使全美国成千上万的科学家通过全球最快的研究网络共享计算资源。到2004年为止,TeraGrid将能够向用户提供20TeraFlop(万亿次浮点运算/秒)的计算能力,1PetaByte(2[50])的数据存储能力,高分辨率的可视化环境,以及一系列支持网格计算的软件工具包。TeraGrid的所有资源将通过一个具有40Gigabits/s交换能力的网络相连。
    表1 TeraGrid项目发展情况┌──────┬────────────────────────┬────────┐
│            │                                                │NSF资金投入     │
│    时间    │    新增项目成员                                │                │
│            │                                                │(单位:万美元)│
├──────┼────────────────────────┼────────┤
│            │National Center for Supercomputing Applications │                │
│            │San Diego Supercomputer Center                  │                │
│2001年8月   │Argonne National Laboratory                     │    5300        │
│            │Center for Advanced Computing Research          │                │
│            │                                                │                │
├──────┼────────────────────────┼────────┤
│            │Pittsburgh Supercomputing Center                │                │
│2002年10月  │                                                │    3500        │
│            │University of Pittsburgh                        │                │
├──────┼────────────────────────┼────────┤
│            │Oak Ridge National Laboratory                   │                │
│            │Purdue University                               │                │
│2003年9月   │                                                │    1000        │
│            │Indiana University                              │                │
│            │Texas Advanced Computing Center                 │                │
└──────┴────────────────────────┴────────┘
 

      1.3 IPG
    IPG(Information Power Grid)是由美国宇航管理局NASA支持的网格研究项目[6]。它是一个高性能的计算网格,网格用户可以通过IPG中间件从任何地点访问广泛分布的异构的各种资源,NASA内部的科学家和工程师都可以成为IPG的用户。IPG的总设计师W.E.Johnston认为:“计算与数据网格将成为21世纪科学研究的基础设施,因为它将能够向用户提供广泛分布的计算资源、数据资源以及人力资源。”
      1.4 GIG
    全球信息网格(Global Information Grid,GIG)是目前美国军方正规划实施的一个宏大网格计划。它是美军2010网络中心战(Net Centric Warfare,NCW)计划的基础性研究项目,旨在建立一个以成熟的商业技术为基础的真正分布式的运行与传送系统。2003年5月,美国发布了国防部网络中心数据策略文件(DOD Net-Centric Data strategy),该策略文件主要介绍了GIG信息共享的构想,并提出了7个数据目标(数据可视、可访问、数据管理制度化、可理解、可信任、可操作、可响应用户需求)以及各自的实现方法[17]。该计划预计在2020年完成,作为这个计划的一部分,美国海军和海军陆战队已经启动了一个耗资160亿美元历时8年的项目,包括系统的研究、建设、维护和升级[3]。
      1.5 Globus
    Globus是目前全球最有影响的网格研究计划之一,主要项目成员有美国阿贡国家实验室、芝加哥大学、南加州大学[8]。IBM公司现在也参与其中。其主要研究任务分4个方面:网格基础理论和关键技术研究;软件及工具的开发;试验平台的建立;网格应用的开发。根据Globus的观点,在网格计算环境下,所有可用于共享的主体都是资源,如计算机、高性能网络设备、昂贵的仪器、大容量的存储设备、各种科学数据、各种软件等是资源,分布式文件系统、数据库缓冲池等也可以理解为资源。实际上,只要在网格计算环境中对用户存在利用价值的东西都可理解为资源。Globus实际上关心的不是资源的实体本身,而是如何把资源安全、有效、方便地提供给用户使用。所以从共享的角度考虑,Globus将主要研究重点放在了资源的访问接口或访问界面上。目前,Globus把在商业计算领域中的Web Service技术融合进来,希望能够对各种商业应用提供广泛的、基础性的网格环境支持,实现更方便的信息共享和互操作[9]。
        2 欧洲
    欧洲方面,DataGrid是在欧盟资助下由欧洲原子能研究机构CERN实施的一个项目,旨在通过连接广泛分布的科学资源建立支持数据密集型计算(Data Intensive Computing)应用的下一代计算平台。根据CERN的设计思路,DataGrid的目标是处理2005年建成的大型强子对撞机源源不断产生的PB/s量级实验数据。这些原始数据经过在线系统过滤后,并经具有20Teraflop处理能力的离线处理场的处理,最终以大约100MB/s的速率写入磁带,这个100MB/s就是DataGrid真正需要处理的数据速率。CERN计算机中心负责将这些数据通过高速网络分配给欧洲、北美、日本等国的区域中心,后者再将任务作进一步分解,到物理学家的桌面时,数据量只有1MB/s,已经可以很方便地进行处理了[2]。
    另外,英国政府已投资1亿英镑,研制“英国国家网格”(UK National Grid)。法国启动的国家网格计划,前3年计划的经费投入是1000万美元。荷兰国家网格计算计划将使5个大学的研究人员能够更有效地在生物信息到粒子物理等科研项目方面进行合作。这一网格计算计划包含5台Linux群集系统(每个大学各一台),通过荷兰大学的高性能网——SURFNet连接在一起。
        3 机遇与挑战
    通过上述对美国、欧洲几个网格研究计划的分析,我们不难发现,国外的网格研究工作主要集中在两个方面:①标准的开发与制定,例如Globus和Globus Toolkit软件包;②从应用出发研究网格,如NPACI Grid、DataGrid、GIG等,这些项目都面向具体的科学研究课题,重点希望解决分布式超级计算、数据密集型计算[2]、分布式仪器系统等问题。
    相比于20世纪计算机技术、网络技术刚刚兴起时我国远远落后于其他国家的情况,今天我们国家在计算机、网络技术的研究以及信息产业的发展规模上已经不再处于劣势。现今,我国拥有分布于各个科研院所的庞大技术研究队伍,因特网规模、网络用户数量分别位居世界第二位,这些有利条件都为网格技术的发展提供了良好的基础。可以说,在发展网格技术的竞赛中,我们与其他国家处在同一个起跑线上。截止到2002年,清华大学的先进计算基础设施ACI(Advanced Computational Infrastructure)和以中科院计算所为主的国家高性能计算环境NHPCE(National High Performance Computing Environment)两个网格项目已经完成,取得了一系列的研究成果[10]。从2002年开始,国家科技部“863计划”、教育部、上海市纷纷启动了新一轮的网格研究工作。目前正在进行的网格研究项目有“863计划”支持的“中国网格”(China Grid)、中科院计算所的“织女星网格”以及上海多所大学共同参加的“上海教育科研网格”等。
    综合国内外网格研究进展情况,笔者认为,我们在进行自己的网格研究时,应该注意这样几个问题。
      3.1 网格标准的制定
    正如TCP/IP协议是因特网的核心一样,构建网格计算也需要对标准协议和服务进行定义。我们应该积极参与到网格标准的制定工作中去,应该对网格标准的制定做到及时跟踪、尽快消化与吸收,我们对网格技术的研究工作应该在统一的标准的指导下开展。
    目前,包括Global Grid Forum、研究模型驱动体系(Model Driven Architecture)的对象管理组织(OMG)、致力于网络服务与语义网研究的W3C,以及Globus等标准化团体都正在进行相关标准的研究工作。
    2003年7月,OMG、W3C、Grid Forum等标准化组织与来自学术、商业领域的人士出席了“软件服务网格研讨会”,加快全球大网格(Global Great Grid)标准的制定。接着,另一开放源代码网格标准组织——Globus也集会研究通过广域网联接的高性能计算的基础设施问题。Globus目前正致力于开发标准的网格架构和其他技术,并已经提出了“开放网格服务体系”(Open Grid Services Architecture,OGSA)建议标准,该体系结构是目前最新的一种网格体系结构,被称为下一代的网格体系[9]。
    在网格计算技术方面,迄今为止还没有正式的标准,但在核心技术上,相关机构与企业已达成一致——由美国Argonne国家实验室与南加州大学信息科学学院(ISI)合作开发的Globus Toolkit软件包已成为网格计算事实上的标准。包括Entropia、IBM、Microsoft、Compaq、Cray、SGI、Sun、Veridian、Fujitsu、Hitachi、NEC在内的12家计算机和软件厂商已宣布将采用Globus Toolkit。Globus Toolkit1.0版本于1998年正式发布。该软件包的源代码开放,任何用户都可以从Globus的专题网站上下载获得。Globus Toolkit包括一系列软件服务和支持资源监视、资源发现、资源管理、安全控制、文件管理的函数库,能够使用户在保持本地相对独立性的同时获得计算能力、数据库以及其他资源的共享。2004年3月31日,Glohus Toolkit3.2版正式发布,目前国内外很多大型的网格项目都是基于Globus Toolkit提供的协议与服务的。
      3.2 网格技术的应用
    网格计算模式由应用需求而产生,并且与应用紧密相连。尽管网格的前景是广阔的,但是我们应该看到,搭建一个通用的网格环境还不是一个现实的目标,将会遇到网络带宽、通信延迟[2]、信息服务能力有限等诸多问题的困扰。因此,在现阶段结合我国信息化和科学研究、工程的应用需求,开展网格计算的实践是促进我国网络计算技术良性发展的有效途径[11]。我们应该面向国家的重大应用,结合关键技术的突破,首先推动网格技术在国防、能源、航天、科研、教育以及其他具有迫切应用需要的行业中的应用,加快应用的开发,建立行业或企业的应用网格,然后再进一步推动我国全面的网格应用研究。
      3.3 相关法律、规范的制定
    网格计算是以资源共享为前提条件和最大特征的。这就必然涉及到网络安全、计算机犯罪、电子商务、知识产权等诸多方面的问题。因此必须制定相关的法律、法规,以规范网格时代背景下资源提供者与使用者的各种行为。首先还是让我们先了解一下现阶段网络时代有关法律、规范的制定情况,这应该会给我们思考未来网格时代同等问题带来一些启示。
    目前一些国际组织已经纷纷制定出一些法律规则来应对互联网空间的法律问题[12]。近年来,我国也开始加强信息立法工作,相继颁布了一些有关的管理办法、暂行规定。表2、表3分别列举出近年国内外颁布的有关法律规则。同时,有关的一些法律法规在各自领域内对于一些局部问题作出了回应。近年来我国制定了《统计法》、《档案法》、《测绘法》、《国家安全法》、《保守国家秘密法》、《著作权法》、《反不正当竞争法》等一系列与信息活动有密切关系的法律,新《刑法》及相关的一些法律法规也加入了制裁计算机犯罪的条款,新的《合同法》在一定程度上涉及到电子合同和电子商务的法律问题。
    表2 国外主要互联网法律规则┌──┬─────────────────┬────────────┐
│时间│    名称                          │    颁布者              │
├──┼─────────────────┼────────────┤
│1996│《电子商务示范法》                │联合国国际贸易法委员会  │
├──┼─────────────────┼────────────┤
│1997│《国际数字保证交易一般惯例》      │国际商会                │
├──┼─────────────────┼────────────┤
│    │《关于网络域名程序的最后报告》    │世界知识产权组织        │
│    ├─────────────────┼────────────┤
│1999│《统一域名争议解决政策》          │国际互联网域名系统最高管│
│    │《统一域名争议解决政策实施规则》  │理机构                  │
└──┴─────────────────┴────────────┘
 

    表3 国内主要互联网管理办法、暂行规定┌───┬───────────────────────────┐
│时间  │    名称                                              │
├───┼───────────────────────────┤
│1996  │《中华人民共和国计算机信息网络国际联网管理暂行规定》  │
├───┼───────────────────────────┤
│1997  │《计算机信息网络国际联网安全保护管理办法》            │
├───┼───────────────────────────┤
│2000  │《计算机病毒防治管理办法》                            │
└───┴───────────────────────────┘
 

    总的来说,一方面互联网空间已经对我们传统的法律规则体系产生了巨大的冲击;另一方面,目前我国关于互联网的法律规范仍然不够完善,还没有专门的立法。而在网格时代,这种冲击必将会有增无减,资源提供者与使用者的责、权、利等各种相互关系应该非常明确,否则必然带来网络安全、计算机犯罪、电子商务纠纷等诸多问题,而这些问题的严重程度与解决难度也必然要大于现阶段互联网空间所面临的同等问题。那么为了迎接网格时代的到来,我们应当在继续制定、完善互联网有关法律的同时,以互联网相关法律、法规为基础,及早展开适应网格时代特征的有关法律、法规的探讨与制定工作。
        4 结束语
    美国《福布斯》杂志的科技版“Forbes ASAP”曾经发表了一组文章,预言了网格时代的来临。文章指出:“信息技术的下一波大浪潮将在2004—2005年度出现,并造就2005—2020年15年的黄金时代……到2020年,由此产生的互联网将成长为一个20万亿美元产值的大产业……这一波浪潮的本质特征,就是万维网(World Wide Web,WWW)升华为网格(Great Global Grid,GGG)。”在大多数IT界的预言家眼中,未来的网格对于用户来说应该就像一个有很多专业技术人员的现代化信息服务中心一样,用户所做的只是向工作人员提出自己的需求,然后坐下喝杯咖啡,不需很长时间,工作人员就会给你提供一个应该是你最需要的答案。
    任何新技术的出现,都将是一次难得的机遇,同时也会是一场严峻的挑战。如果把握好机遇,我们就能够借助新技术的发展,利用新技术的效能,以新技术为动力,掌握全面的主动权;反之,如果丧失了发展的最佳时机,则会落后于他人,从而处处受制于他人。因此我们应该把握网格技术发展的太好机遇,给予充分的重视,进一步加大研究力度,争取在这次网格技术研究的竞赛中走在世界的前列。

(责任编辑:刘科)

投稿邮箱:cio114@foxmail.com