網路計算環境：應用開發與部署（簡體書）

《網絡計算環境：應用開發與部署》系統講述以網絡為基礎的科學活動環境中如何靈活快速部署應用的專業書籍。《網絡計算環境：應用開發與部署》由引論、網格應用開發、網格應用部署三篇組成，共十一章，包括網格技術概論、Globus、SAGA、NBCROpal、CGSP、CNGrid GOS 等流行網格系統的應用開發模式介紹，以及應用部署概述、ADIF——資源管理、ADIF——工作流管理、ADIF——通知與訂閱機制、ADIF——日志管理等應用部署的框架與實現。章節之間相對獨立，可供讀者有選擇地參考。

《網絡計算環境：應用開發與部署》取材廣泛，內容系統，介紹了多種主流網格平臺及其應用開發技術，以及網格應用部署的框架和方法，可供網絡計算及相關領域的科研技術人員參考，也可供相關專業研究生、本科生閱讀。

序 前言
第一篇引論
第 1章網格技術概述

第二篇網格應用開發
第 2章 Globus
2.1 Globus項目
2.2 Globus的研究
2.3 Globus Toolkit
2.3.1 安全架構 GSI
2.3.2 信息架構
2.3.3 資源管理 GRAM
2.3.4 數據管理
2.3.5 通信
2.3.6 錯誤檢測

序 前言
第一篇引論
第 1章網格技術概述

第二篇網格應用開發
第 2章 Globus
2.1 Globus項目
2.2 Globus的研究
2.3 Globus Toolkit
2.3.1 安全架構 GSI
2.3.2 信息架構
2.3.3 資源管理 GRAM
2.3.4 數據管理
2.3.5 通信
2.3.6 錯誤檢測
2.3.7 可移植性
2.4 Globus開發示例
2.5 本章小結
第 3章 SAGA
3.1 簡介
3.2 定位
3.3 總體設計
3.3.1 直觀 API
3.3.2 功能包
3.3.3 適配器
3.4 本章小結 38 第 4章 NBCR Opal
4.1 NBCR
4.2 Opal Toolkit
4.2.1 應用部署
4.2.2 命令客戶端的使用
4.2.3 PostgreSQL用法
4.2.4 MySQL用法
4.2.5 DB2用法
4.2.6 DRMAA用法
4.2.7 Globus用法
4.2.8 Condor用法
4.2.9 TORQUE/PBS用法
4.2.10 CSF4用法
4.2.11元服務用法
4.2.12編寫作業管理器
4.3 本章小結
第 5章 CGSP
5.1 簡介
5.2 目標
5.3 系統主要結構
5.3.1 服務容器
5.3.2 信息中心
5.3.3 域管理
5.3.4 執行模塊管理
5.3.5 數據管理系統
5.3.6 異構數據庫
5.3.7 網格門戶
5.3.8 網格并行接口
5.3.9 安全管理
5.4 應用實例
5.5 本章小結
第 6章 CNGrid GOS
6.1 CNGrid GOS系統軟件
6.1.1 全局名字管理
6.1.2 資源管理
6.1.3 虛擬組織管理
6.1.4 應用運行時管理
6.1.5 應用層工具
6.2 CA證書管理系統及測試環境
6.2.1 CA證書管理系統
6.2.2 測試環境
6.3 高性能計算網關
6.3.1 功能完備
6.3.2 集成方便
6.3.3 界面友好
6.4 數據網格
6.5 網格工作流
6.5.1 工作流建模能力強
6.5.2 網格服務獲取方便
6.5.3 流程服務化和重用
6.5.4 可插拔、可擴展的流程管理控制臺
6.5.5 可擴展的流程建模工具和流程引擎
6.6 中國國家網格監控系統
6.7 開發示例
6.7.1 資源端準備
6.7.2 編寫 Java應用
6.7.3 編寫 WebApp應用
6.7.4 獨立運行的 Java程序
6.7.5 上下文
6.7.6 網程的運行
6.8 本章小結

第三篇網格應用部署
第 7章應用部署概述
7.1 符號約定
7.2 本章小結
第 8章 ADIF--資源管理
8.1 目標
8.2 命名空間
8.3 術語
8.4 資源管理操作
8.4.1 資源查詢
8.4.2 資源部署
8.4.3 資源反部署
8.4.4 資源評價
8.4.5 資源取代
8.5 開發示例
8.5.1 文檔示例
8.5.2 文檔結構
8.5.3 文檔約定
8.5.4 文檔核心元素集
8.6 本章小結
第 9章 ADIF--工作流管理
9.1 目標
9.2 命名空間
9.3 術語
9.4 工作流管理操作
9.4.1 過程控制結構定義
9.4.2 工作流設計器定義
9.4.3 工作流需求定義
9.5 過程控制
9.5.1 順序控制
9.5.2 并行控制
9.5.3 循環控制
9.5.4 條件控制
9.5.5 選擇控制
9.6 工作流設計器
9.7 開發示例
9.7.1 文檔示例
9.7.2 文檔結構
9.7.3 文檔約定
9.7.4 需求文檔核心元素集
9.8 本章小結
第 10章 ADIF--通知與訂閱機制
10.1 目標
10.2 命名空間
10.3 術語
10.4 交互模式
10.4.1 One-Way
10.4.2 Request-Response
10.4.3 Solicit-Response
10.4.4 Notification
10.5 訂閱
10.5.1資源訂閱
10.5.2資源反訂閱
10.6 通知
10.7 開發示例
10.7.1訂閱清單
10.7.2通知清單示例
10.8 本章小結
第 11章 ADIF--日志管理
11.1目標
11.2命名空間
11.3術語
11.4日志管理操作
11.4.1提交元作業日志管理
11.4.2銷毀用戶資源日志管理
11.4.3包裝應用日志管理
11.4.4訪問網格平臺日志管理
11.4.5提交工作流作業日志管理
11.4.6作業執行結果日志管理
11.5開發示例
11.5.1清單示例
11.5.2清單結構
11.5.3符號約定
11.5.4清單核心元素集
11.6本章小結

參考文獻
附錄 A 資源相關度量
附錄 B RMtypes.xsd文檔
附錄 C 資源管理模式說明
附錄 D 用戶資源列表說明
附錄 E WorkflowDefinition.xsd的一個非正式例子
附錄 F 資源訂閱部署清單的具體架構
附錄 G 通知清單的具體架構

第一篇 引 論
第 1章
在當今信息爆炸的時代，面對大規模、超大規模的計算需求，傳統的計算模式愛莫能助，特別是在面對實時性要求較高的現實問題時，傳統的計算模式更是捉襟見肘。有這樣一個笑話可以很好地描述如此尷尬的處境：一個城府極深的外星人在地球的某處埋下一枚足以摧毀整個地球的定時炸彈，時限是 20分鐘。如果我們不能在 20分鐘內找到這枚炸彈并成功將它排除，那么我們的余生就只剩下短短的 20分鐘時間。在這有限的時間內，你可以歡呼，你可以雀躍，你可以傷心，你可以落淚，你可以祈禱，你可以詛咒，總而言之，我們的生命只剩 20分鐘。
在如此急迫的情形下，普通人的力量是渺小的，只有依靠社會精英或者群體智慧，局面才能得以控制。因而一種新的代表社會精英抑或群體智慧的計算模式成為我們的首選——高性能計算。高性能計算可以實現計算能力質的突破。通常來說，計算能力可以從兩個方面實現突破：①提高單個節點的計算能力；②多個節點之間的并行計算。對于提高單個節點的計算能力來說，目前的芯片設計工藝水平不足以實現單個計算節點處理能力質的飛躍。因而，我們不得不轉向并行計算。此時擺在面前的道路有兩條：其一是單個節點內部的并行；其二為多個節點之間的并行。多核技術很好地詮釋了單個節點內部的并行。但是受到數據交換與通信延遲的限制，單個節點中并不能一味地集成內核。因此，多個節點之間的并行頗受青睞。
多個節點通過適當的網絡連接，同時參與某項任務的處理，這是當今比較流行的并行計算模式。這些彼此相連的節點，稱之為一個集群。不同的組織與機構可以按照特定的需求組建適合自身利益的集群。然而考慮到節點所占的空間與耗費的電力等種種因素，集群的規模往往受到種種限制。另外，考慮到集群中各個節點之間的通信帶寬與延遲，整個集群的處理能力并不等于所有節點處理能力的總和，而是隨著規模的擴大呈現滯漲態勢。以至于當節點規模增大到一定程度后，集群的整體處理能力的增長速度將十分緩慢。也就是說，雖然集群能夠有效地滿足計算需求的增長，但是當計算需求增長過快時，集群依然會處于一種無可奈何的境地。
通過上述分析，我們容易知道，制約集群處理能力的重要因素就是各個節點之間的通信帶寬與延遲。為了擺脫集群的這種限制，分布式的概念應運而生。它允許分布在不同地域的眾多節點通過互聯網的連接來共同完成某項任務。一般來說，在分布式框架下，任意節點都可以通過互聯網按照某種協議參與某項任務的計算。與并行計算不同，這種模式下的節點不需要頻繁的交流與通信。這使得分布式計算比較適合處理關系松散的數據或者任務，而并行計算比較適合處理關系復雜、縱橫交錯的數據與任務。
結合前面的笑話，我們知道分布式計算比較適合用來尋找炸彈的位置。在這種模式下，每個參與進來的節點可以針對自己所在的地區進行搜尋，找到炸彈后即可排除。如果確信自己所在的區域不含炸彈，那么通知其他節點該區域為安全區，以避免重復搜尋。
分布式計算的特征可以總結為協同計算、數據共享、動態擴展。結合這三個基本特征，我們可以組建一個囊括全世界的計算節點的超級計算機。在這臺特殊計算機的幫助下，我們可以輕松地找到并排除外星人安置的那枚定時炸彈。
根據有關統計，網絡系統的平均利用率只有 30%左右。如何更好地利用網絡資源已經成為人們日益關注的話題。雖然從理論上來講，任何個人計算資源都可以參與到分布式系統中而成為其中的一個節點，但是各個分布式系統都有自身的加入方式。通常來說，個人計算資源是無法主動加入到分布式系統中的，只有通過分布式系統的主動邀請，個人計算資源才能成為其中的一個計算節點。事實上，導致這種局面的首要因素就是分布式系統缺乏統一的擴展協議。通過不懈的努力，科學家受電力網格的啟發，終于找到了解決這一問題的有效方法——利用網格計算，把網絡上的計算節點組織起來，形成一個巨大的全球計算環境。
電力網格[1]用高壓線把分散在各地的各式各樣的發電站連接起來，向用戶提供源源不斷的電力。用戶只需插上插頭、打開開關就能用電，而無需關心電能是從哪個電站送來的，也不需要知道是水力電、火力電或是核能電。建設網格的目的也一樣，昀終是希望能夠把分布在因特網上的眾多計算機、存儲器、貴重設備、數據庫等資源結合起來，徹底消除資源“孤島”，形成一個虛擬的、強大的超級計算機，以滿足日益增長的計算、存儲需求，并使信息世界成為一個有機的整體，達到昀大限度的信息共享。因而網格必須滿足三大條件：
（1）在非集中控制的環境中協同使用計算資源；
（2）使用標準的、開放的和通用的協議和接口；
（3）提供非平凡的服務。
網格是把地理位置上分散的資源通過通信手段連接起來的一種基礎設施。在網格系統中，用戶不需要了解資源的具體信息就可以自由地使用所需的資源。分布式資源與通信網絡是網格的物理基礎。網格上的資源可以包括計算機、集群、數據庫、儀器、設備、傳感器、存儲設備、數據與軟件等實體資源，亦可以包括策略、算法、計算周期等邏輯資源。
為了得到較好的用戶體驗，網格將囊括其中的所有資源通過網絡無縫地連接起來，形成一個有機的整體。對于用戶來說，網格系統就是一個超級計算機。用戶可以像在本地一樣地使用任何自己能夠使用的資源，而無需考慮該資源所處的地理位置。就像《網格：一種未來計算基礎設施藍圖》 [2]一書中描述的一樣，網格是構筑在互聯網上的一組新興技術，它將高速互聯網、計算機、大型數據庫、傳感器、遠程設備等融為一體，為科技人員和普通老百姓提供更多的資源、功能和服務。
同其他系統一樣，網格中的所有資源對外提供統一的訪問接口，資源請求者只需按照統一的格式發出所需資源的請求消息，就可以使用被網格獲準使用的資源。用戶在使用網格資源時，無需知道所使用的資源在網格中的地理位置、訪問格式、存儲形式等具體信息。
網格中的資源應當是可靠的，這不僅要求資源本身所產生的內容是正確的，還要求資源具有從錯誤狀態中自動恢復過來的自愈性，甚至自動尋找相同資源替換運行出錯資源的能力。例如用戶 U打算通過網格查詢蘭州市今天的天氣狀況。正常情況下，在接收到用戶 U發出的請求 R后，網格將指定某個合適的服務 S來處理該請求，而后返回蘭州市的天氣狀況給用戶 U。如果服務 S在處理 R時遇到異常，也就是說服務 S在運行的過程中出現故障而無法給出請求 R的正確結果，那么此時用戶 U將收到請求處理失敗的消息或雷雨、大雪、晴天等一起出現的怪異天氣狀況。顯然這個結果不能令用戶 U滿意。因而網格具有自動尋找可用的同等資源來替代異常服務的能力是十分必要的。
為了實現資源的廣泛共享以及給用戶更好的體驗，網格應當具備如下基本特點：
（1）虛擬性。網格中的資源和用戶都要經過抽象，把實際的用戶和資源虛擬化為網格用戶和網格資源。這樣所有的網格用戶才能使用統一的接口與界面來訪問各種各樣的資源。
（2）共享性。網格是一個資源共享的場所，其中的任何資源都應當能夠共享使用。這就要求網格中的任何一個資源都應當能夠被多個用戶同時使用，任何一個用戶都應當能夠同時使用多個資源。
（3）集成性。網格將分散在世界各地的資源聚集成一個有機的整體，并協調分散在世界各地的資源使用者。網格用戶不僅能夠使用單個資源的某個功能，還可以使用多個資源的某些功能的合成功能。
（4）協商性。網格支持資源的協商使用，資源的請求者和資源的提供者可以通過協商得到不同質量的服務，以滿足不同的實際需求。
（5）自愈性。網格支持資源的自愈性。資源請求者所請求的某個資源運行出現異常時，網格自動尋找合適的同等資源替換該資源，以昀大程度上挽回用戶的損失。事實上，在很多情況下，用戶并不會察覺到這種替換。
網格是一個開放的、標準的系統。只要遵守網格規定的標準，任何設備都可以
加入進來。網格系統也是一個簡單靈活的系統。任何用戶都不需要專門的學習與培訓，也不需要了解技術的具體細節，就可以熟練地運用網格系統。按照學科來分，網格系統可以分為如下幾類。
（1）化學網格 [3]。主要指集成了化學計算資源的網格系統。化學網格的用戶主要是化學家。這些用戶可以通過化學網格尋找滿足自身需求的化學資源，而后按照一定的順序，編排成適合特定需求的合成服務。
（2）生物網格。我國比較成熟的生物網格是中國科學院研發的生物科學數據網格 [4]。它主要是在微生物與病毒主題數據庫建設的基礎之上，針對于微生物與病毒基因組學發展的趨勢，利用網格技術在數據整合和計算整合方面的優勢，建立的基于微生物與病毒基因組研究所需的數據資源與應用資源的網格應用。主要功能包含微生物與病毒的信息資源整合，微生物與病毒基因組數據的瀏覽和可視化，常規生物信息學分析方法的整合與應用等。
（3）醫學網格。主要指集成了醫學計算資源的網格系統。目前比較成熟的網格系統有：醫學圖像網格、醫學數據網格、醫學可視化網格以及生物醫學網格。這些網格系統大都側重于醫學領域的一個方面，可以稱之為領域網格。
（4）地球網格。主要指集成了地球結構及氣候變化等資源的網格系統。目前比較成熟的有國際組織“地球系統網格聯盟” （Earth System Grid）[5]以及英國國家地震工程仿真網格 [6]（UK Network for Earthquake Engineering Simulation Grid）。前者主要側重于對地球氣候變化的研究，并提出了全球氣候模型與區域氣候模型，以及相應的虛擬化軟件。后者主要為研究者提供一個地震工程方面的實驗環境，以方便相關研究的交流與合作。此外，北京網格地球科技有限公司 [7]提供的一系列地球網格軟件也可以提供地質方面的信息。這些軟件有 GEOffice地質辦公軟件、 GEWorks精細油藏描述工作平臺、 GEMapTool地質繪圖工具、 GESeisTool地震解釋與顯示工具、 GELogTool測井解釋與顯示工具、 GEModelTool地質建模與可視化工具、 GeoFacies沉積相及儲層綜合研究軟件，以及 CGMEditor圖形編輯器軟件。通過這些軟件，使用者可以比較全面地了解到自己所需的地質信息。
（5）虛擬天文臺。望遠鏡技術的進步使得人類可以建造大型的空間天文臺，為伽馬射線、 X射線、光學和紅外天文的發展開辟了新的前景，同時也推動了新一代的大口徑地面光學望遠鏡和射電望遠鏡的建造。而高速互聯網技術使得異地天文數據的交換和處理成為可能，這為廣大天文愛好者帶來了福音。美國國家科學院借此提出建立國家虛擬天文臺的項目，而后世界各國迅速響應，紛紛提出搭建各自虛擬天文臺的計劃。當前國際上已經得到資金支持的主要有美國國家虛擬天文臺 [8]（NVO）、歐盟天體物理虛擬天文臺 [9]（AVO）、英國天文網格 [10]（AstroGrid）。這些天文臺產生的觀測數據通常都是由網格來處理的，因為通常的計算節點與集群無法處理如此大規模的數據。
……