本書圍繞數據中心IT基礎資源優化調度管理關鍵問題，介紹了云計算的發展背景和挑戰性問題、主要服務提供商的數據中心解決方案和國內外研究現狀，對資源優化調度管理領域內的主要挑戰性問題進行了深入分析和探索，特別是實時負載均衡調度、能耗敏感調度、計算資源化利潤調度、云工作流和數據中心模擬系統設計應用等關鍵內容，希望為讀者深入了解相關知識和有興趣的研究人員提供一些借鑒。
田文洪, 電子科技大學計算機學院副教授，研究方向主要集中在云計算網絡動態設計和資源管理調度、物聯網管理系統等領域，擅長以簡潔創新的方式解決復雜網絡問題，特別是在云計算、高性能資源調度管理、綠色節能調度方面他積累了豐富的經驗，具有很深的造詣, 基本達到國際先進水平。
第1章 云計算概述
1.1 云計算發展背景
1.2 云計算是集大成者
1.2.1 并行計算
1.2.2 網格計算
1.2.3 效用計算
1.2.4 普適計算
1.2.5 SaaS
1.2.6 虛擬化技術
1.3 云計算的驅動因素
1.3.1 云計算發展現狀和趨勢
1.3.2 云計算應用初步分類
1.4 云計算產業鏈中的不同角色
1.5 云計算的主要特征和技術挑戰
1.5.1 云計算的主要特征
1.5.2 挑戰性問題
1.6 小結
思考題
參考文獻
第2章 數據中心
2.1 數據中心概述
2.1.1 數據中心簡介
2.1.2 數據中心的需求和挑戰
2.2 云計算數據中心資源調度需求分析
2.2.1 技術需求
2.2.2 技術目標
2.3 云計算數據中心資源調度研究進展
2.4 云計算數據中心資源調度方案分析
2.4.1 Google解決方案
2.4.2 Amazon解決方案
2.4.3 IBM解決方案
2.4.4 HP解決方案
2.4.5 VMware解決方案
2.4.6 其他廠家解決方案
2.5 云計算數據中心資源調度標準進展
2.6 云資源管理調度關鍵技術及研究熱點
2.7 小結
思考題
參考文獻
第3章 大數據處理
3.1 大數據的發展背景及定義
3.2 大數據問題
3.2.1 速度方面的問題
3.2.2 種類及架構問題
3.2.3 體量及靈活性問題
3.2.4 成本問題
3.2.5 價值挖掘問題
3.2.6 存儲及安全問題
3.2.7 互聯互通與數據共享問題
3.3 大數據與云計算的辯證關系
3.4 大數據技術
3.4.1 基礎架構支持
3.4.2 數據采集
3.4.3 數據存儲
3.4.4 數據計算
3.4.5 數據展現與交互
3.5 小結
思考題
參考文獻
第4章 云資源監控管理
4.1 云數據中心監控系統概述
4.1.1 研究背景
4.1.2 云數據中心資源監控的方式
4.1.3 虛擬機監控簡介
4.2 云數據中心監控系統的相關研究
4.2.1 云數據中心監控系統的功能需求分析
4.2.2 實現云監控系統的關鍵技術
4.3 云數據中心計算資源監控系統的設計與實現
4.3.1 云數據中心計算資源監控系統的設計
4.3.2 云數據中心計算資源監控系統的實現
4.4 云數據中心監控系統數據分析
4.4.1 用戶請求展示
4.4.2 用排隊論分析用戶請求
4.4.3 云數據中心的功耗計算
4.5 云資源監控系統的性能分析與評價
4.6 小結
思考題
參考文獻
第5章 實時負載均衡調度
5.1 引言
5.2 相關工作
5.2.1 示例說明
5.2.2 問題描述和模型建立
5.2.3 負載均衡調度算法的度量指標
5.3 OLRSA算法
5.4 算法性能比較
5.4.1 模擬設置
5.4.2 模擬仿真的結果和分析
5.5 小結
思考題
參考文獻
第6章 計算資源節能調度概述
6.1 數據中心節能研究背景
6.1.1 國內外研究背景介紹
6.1.2 國內外主要參考文獻
6.2 數據中心能耗模型
6.2.1 數據中心調度系統
6.2.2 數據中心能耗評估
6.2.3 服務器能耗模型
6.3 節能問題描述與建模
6.3.1 前置條件
6.3.2 主要節能調度算法分類
6.4 離線調度算法
6.4.1 同構且請求容量為單位容量
6.4.2 同構且請求容量為任意容量
6.5 在線調度算法
6.6 隨機調度算法
6.6.1 M/M/1排隊模型
6.6.2 M/M/k排隊模型
6.7 節能調度算法評估
6.7.1 理論分析證明
6.7.2 模擬對比分析
6.8 小結
思考題
參考文獻
第7章 離線和在線節能調度算法
7.1 離線節能調度算法
7.1.1 MFFDE算法分析
7.1.2 MFFDE算法的近似度證明
7.2 在線節能調度算法
7.2.1 BFF算法分析與近似度證明
7.2.2 BFF算法性能評估
7.3 MinTBT問題及節能調度算法在數據中心節能中的應用
7.4 小結
思考題
參考文獻
第8章 Hadoop集群節能調度管理
8.1 Hadoop介紹
8.1.1 Hadoop簡介
8.1.2 Hadoop框架
8.1.3 Hadoop運行流程
8.2 新型動態負反饋調度算法
8.2.1 Hadoop集群動態管理設計特點
8.2.2 負載模型設計
8.2.3 DANF算法設計與實現
8.2.4 動態調度模塊算法偽代碼
8.3 節能調度系統設計
8.3.1 系統總體架構
8.3.2 模塊詳細設計
8.4 系統測試和分析
8.4.1 測試環境
8.4.2 程序功能性測試
8.4.3 性能測試
8.5 Hadoop其他節能方式
8.6 小結
思考題
參考文獻
第9章 計算資源的利潤較大化問題
9.1 計算資源作為服務的利潤較大化
9.1.1 云計算與數據中心
9.1.2 數據中心的發展
9.2 傳統的較大化利潤解決方法
9.2.1 經典的0-1背包問題
9.2.2 動態規劃法
9.2.3 貪婪算法
9.2.4 回溯法
9.3 區間調度問題介紹
9.4 帶權區間調度
9.4.1 傳統的帶權區間調度問題
9.4.2 WIS中的可相互兼容區間
9.4.3 帶權區間調度問題
9.5 考慮容量共享的帶權區間調度
9.5.1 考慮容量共享的帶權區間調度問題
9.5.2 WISWCS問題中可相互共享兼容的區間
9.5.3 WISWCS問題中的容量分割
9.5.4 WISWCS問題中的權值與容量成比例
9.5.5 較大化利潤的公式
9.5.6 一種考慮容量共享的調度算法
9.5.7 用SAWIS算法找出子集
9.6 可共享容量調度問題的應用
9.6.1 云計算中的虛擬機調度
9.6.2 通信鏈路共享
9.6.3 性能評估
9.7 相關工作
9.8 小結
思考題
參考文獻
第10章 云工作流應用
10.1 科學計算云平臺研究背景
10.2 工作流和云平臺集成的相關研究工作
10.3 科學計算云平臺的結構化方案
10.3.1 需求
10.3.2 架構
10.3.3 集成選項
10.3.4 實現細節
10.4 科學計算云平臺集群配置和產品部署
10.4.1 MODIS圖片處理工作流
10.4.2 產品部署
10.5 小結
思考題
參考文獻
第11章 數據中心調度模擬系統
11.1 引言
11.2 CloudSched的架構和主要特點
11.2.1 數據中心的建模
11.2.2 虛擬機分配的建模
11.2.3 用戶請求建模
11.3 不同調度算法的性能度量
11.3.1 多維度負載均衡的度量指標
11.3.2 節能算法的度量指標
11.3.3 較大化資源利用率的度量指標
11.3.4 置信區間的度量
11.4 CloudSched的設計與實現
11.4.1 數據中心的調度過程
11.4.2 調度算法——以LIF算法為例
11.5 性能評估
11.5.1 負載均衡比較
11.5.2 節能效果比較
11.6 小結
參考文獻
第12章 總結與展望
12.1 動態多層次分布式資源監控
12.2 動態綜合調度策略和算法研發
12.3 多數據中心(多調度域)的調度策略和算法動態可選擇
12.4 監控、調度和部署等功能融合
12.5 綠色節能數據中心的綜合解決方案
12.6 從基礎資源調度拓展到應用任務調度
前 言
"經過精細規劃的優化理論設計的實踐比隨意性或一般性實施在性能、節能以及提高運營利潤等方面可體現高出多個量級的效果，并不斷接近或達到化結果。"
云計算是一種計算模型和服務模式，它將計算任務分布在大量計算機構成的不同數據中心，使各種應用系統能夠根據需要獲取計算能力、存儲空間和信息服務。提供資源的網絡或數據中心被稱為"云"。業界研究者將云計算列為水、電、氣、油之外的第五種公用資源(The Fifth Utility)。繼個人計算機變革、互聯網變革之后，云計算被看做第三次IT浪潮，是世界和中國戰略性新興產業的重要組成部分，它將帶來生活、生產方式和商業模式的深刻改變，已成為當前全社會關注的熱點。
云計算目前已經廣泛應用于網絡搜索、科學計算、虛擬環境、能源和生物信息等領域的日常業務和創新性探索。IDC預測，未來4年中國云計算將產生1.1萬億元的市場。賽迪顧問2010年年底的《中國云計算產業發展白皮書》預測未來3年，云計算應用將以政府、電信、教育、醫療、金融、石油石化和電力等行業為重點，在中國市場逐步被越來越多的企業和機構采用，市場規模也將從2009年的92.23億元增長到2012年的606.78億元，年均復合增長率達87.4%。該報告預計中國云計算產業發展將分為準備階段(2007—2010年)、起飛階段(2011—2015年)和成熟階段(2015年以后)。
不少研究預言"將來的核心競爭在數據中心"。數據中心是容納計算設備資源的集中之地，同時負責對計算設備的能源提供和空調維護等。數據中心可以單獨建設，也可以置于其他建筑之內，還可以是分布在不同地理位置的多個系統。云資源匯聚在一起，通過多租戶模式服務多個消費者。在物理上，資源以分布式的共享方式存在，但最終在邏輯上以單一整體的形式呈現給用戶。資源種類很多，分類角度也不一樣，本書所涉及的資源主要包括以下幾類。
物理服務器：構成數據中心的物理計算設備，每個物理服務器可以提供多個虛擬機，每個物理服務器可以由多個CPU、內存、硬盤、網卡等構成。
物理集群：由多個物理服務器、必要的網絡和存儲設施構成的物理服務器組。
虛擬機：通過虛擬化軟件在物理服務器上生成的虛擬計算平臺，可以由多個虛擬化CPU、硬盤、網卡等構成。
虛擬集群：由多個虛擬機、必要的網絡和存儲設施構成的虛擬機組。
共享存儲：為數據中心的計算資源提供大容量存儲，可以被所有設備和用戶共享。
以上數據中心資源在本書中統稱為基礎資源，簡稱云資源。
云資源優化管理調度技術是云計算應用的核心，是云計算得以大規模應用和提高系統性能、兼顧節能減排及運營成本等方面的關鍵技術。先進的動態資源調度管理，對于提高學校、政府、研究機構和企業計算資源的利用效率，節約能源，提高資源共享和降低運營成本都具有極大意義，值得深入系統地學習和研究。
資源管理調度是將資源從資源提供方分配給用戶的一個過程。對于資源過載(需求大于系統容量)，以及需求與容量隨著時間的推移而動態變化的事實，通過優化資源調度管理，可以動態地重新分配資源，以便更高效地使用可用資源。業界一般將調度分為作業級調度和設施級調度。作業級調度是指針對具體的運行程序，系統將作業具體分配到哪些資源上運行的問題。例如，一些獨立的需要較多計算資源和較長運行時間的程序，或者高性能并行處理程序，這些程序往往需要較大規模的高性能計算資源(如云計算)才能很快完成。設施級調度主要指將底層資源作為一種基礎設施服務(Infrastructure as a Service，IaaS)提供給用戶，用戶依據實際情況使用這些資源。例如，數據中心的物理服務器(含CPU、內存、網絡帶寬等)、虛擬機(含虛擬化的CPU、內存、網絡帶寬等)及虛擬集群都屬于底層基礎資源。
本書側重于設施級(也稱應用級)調度，同時兼顧作業級調度(如MapReduce多任務)，并介紹資源動態優化管理與調度。如果把數據中心作為一個整體與人體比較，資源優化管理調度類似人的大腦，是最為核心的功能之一，具有極大的理論意義和實用價值。另外，資源監控類似人的眼睛，資源部署類似人的四肢。目前的數據中心管理與調度大多僅實現了簡單的初級功能，還有很多問題亟須深入系統解決。針對基礎資源優化管理調度，主要回答以下三大基本問題。
優化目標問題：將所需的虛擬機(或虛擬集群)配置在某個數據中心物理服務器(或物理集群)的具體優化函數(目標)是什么？如何建立高效的數學理論優化模型？這涉及宏觀的管理策略制定。
優化分配問題：具體在哪個數據中心的哪個物理服務器上(或物理集群)分配所需的虛擬機(或虛擬集群)以實現優化目標？滿足的具體前提和限制條件有哪些？針對不同的優化目標，業界優化實踐方案有哪些？
實踐性能問題：針對理論優化目標與模型，業界優化管理調度方案的性能對比效果如何？如何選擇適合不同目標的具體方法？
"沒有理論的實踐是盲目的，沒有實踐的理論是蒼白的。"從優化和長遠的角度來看，云計算的建設需要堅實的理論與實踐經驗的結合，我們發現經過精細規劃的優化理論設計的實踐比隨意性或一般性實施在性能、節能以及提高運營利潤等方面可體現高出多個量級的效果，并不斷接近或達到化結果。經過多年的數據中心建設的實踐和理論探索，我們在本書中提出并總結相關領域的優化理論模型和實踐方法，在解決基本問題的同時，實現動態調度而不是靜態預先設定相關參數，兼顧資源(CPU、存儲、網絡等)的性能、熱耗、利用率等特性，本書稱為資源的動態綜合調度技術問題。
數據中心需要處理物理和虛擬資源的動態結合的優化管理調度這一新問題，以實現高性能、節能減排及降低投資等目標。當前數據中心的資源調度不少仍然沿襲傳統方法，較為簡單化，難以滿足以上目標的精細化和動態變化的要求。數據中心調度面臨的挑戰性問題包括：在考慮配置動態可調虛擬機的分配和遷移以及物理機綜合性能，同時兼顧CPU、存儲、網絡等資源因素而非單一因素的情況下,如何解決用戶需求不一致和資源規格不一致造成的系統性能不平衡、能耗效率低下及成本過高等問題。
本書圍繞以上關鍵問題展開，介紹了主要云服務提供商的相關解決方案和國內外研究現狀，以及對以上挑戰性問題的理論與實踐探索，希望為讀者深入了解相關知識內容和有興趣的研究人員提供一些借鑒。
本書各章之間的關系緊密圍繞云資源優化管理調度展開，如下圖所示。本書主要內容包括云計算概述(第1章)、數據中心(第2章)、大數據處理(第3章)、云資源監控管理(第4章)、實時負載均衡調度(第5章)、計算資源節能調度概述(第6章)、離線和在線節能調度算法(第7章)、Hadoop集群節能調度管理(第8章)、計算資源的利潤較大化問題(第9章)、云工作流應用(第10章)、數據中心調度模擬系統(第11章)，以及總結與展望(第12章)。本書可作為高年級本科生和研究生教材，也可作為相關專業研究人員的參考資料。
本書是編者對以上內容大量理論知識與實踐經驗的積累結果，因時間倉促，書中難免存在不妥之處，歡迎讀者指正，請發郵件至CloudSched@gmail.com。
編 者
2013年11月
理論切實聯系實踐，具有新意，很有參考價值。
封面被撕破了一點
書沒什么問題，物流服務差勁，很不滿意。
對我的專業方面幫助不大，但是也不錯的書
幫公司買的
內容還沒有看完，挺不錯，對云數據感興趣的朋友，可以入手一本。
