本书是国内销量最大、被众多高校采用的教材《云计算》的最新升级版,是中国云计算专家咨询委员会秘书长刘鹏教授团队的心血之作。在应对大数据挑战的过程中,云计算技术日趋成熟,拥有大量的成功商业应用。本书追踪最新技术,相比第二版更新了60%以上的内容,包括大数据与云计算、Google云计算、Amazon云计算、微软云计算、Hadoop 2.0及其生态圈、虚拟化技术、OpenStack开源云计算、云计算数据中心、云计算核心算法和中国云计算技术等。刘鹏教授创办的中国云计算(chinacloud.cn)、中国大数据(thebigdata.cn)网站和刘鹏微信公众号(lpoutlook)为本书学习提供技术支撑。
教授、博导、学科带头人,清华大学博士。现任中国云计算专家咨询委员会秘书长、中国信息协会大数据分会副会长、工信部云计算研究中心专家。
主持完成科研项目25项,发表论文80余篇,出版专业书籍15本。获部级科技进步二等奖4项,三等奖4项。主编了国内第一本云计算教材《云计算》和第一本云计算编程书籍《实战Hadoop》。创办了知名的中国云计算(www.chinacloud.cn)和中国大数据(www.thebigdata.cn)网站。
曾率队夺得2002 PennySort国际计算机排序比赛冠军,两次夺得全国高校科技比赛最高奖,并三次夺得清华大学科技比赛最高奖。
荣获“全军十大学习成才标兵”(排名第一)、南京“十大杰出青年”、江苏省“333高层次人才培养工程”中青年科学技术带头人、清华大学“学术新秀”等称号。
第1章大数据与云计算
1.1大数据时代
1.2云计算--大数据的计算
1.3云计算发展现状
1.4云计算实现机制
1.5云计算压倒性的成本优势
习题
参考文献
第2章Google云计算原理与应用
2.1Google文件系统GFS
2.1.1系统架构
2.1.2容错机制
2.1.3系统管理技术
2.2分布式数据处理MapReduce
2.2.1产生背景
2.2.2编程模型
2.2.3实现机制
2.2.4案例分析
2.3分布式锁服务Chubby
2.3.1Paxos算法
2.3.2Chubby系统设计
2.3.3Chubby中的Paxos
2.3.4Chubby文件系统
2.3.5通信协议
2.3.6正确性与性能
2.4分布式结构化数据表Bigtable
2.4.1设计动机与目标
2.4.2数据模型
2.4.3系统架构
2.4.4主服务器
2.4.5子表服务器
2.4.6性能优化
2.5分布式存储系统Megastore
2.5.1设计目标及方案选择
2.5.2Megastore数据模型
2.5.3Megastore中的事务及并发控制
2.5.4Megastore基本架构
2.5.5核心技术--复制
2.5.6产品性能及控制措施
2.6大规模分布式系统的监控基础架构Dapper
2.6.1基本设计目标
2.6.2Dapper监控系统简介
2.6.3关键性技术
2.6.4常用Dapper工具
2.6.5Dapper使用经验
2.7海量数据的交互式分析工具Dremel
2.7.1产生背景
2.7.2数据模型
2.7.3嵌套式的列存储
2.7.4查询语言与执行
2.7.5性能分析
2.7.6小结
2.8内存大数据分析系统PowerDrill
2.8.1产生背景与设计目标
2.8.2基本数据结构
2.8.3性能优化
2.8.4性能分析与对比
2.9Google应用程序引擎
2.9.1GoogleAppEngine简介
2.9.2应用程序环境
2.9.3GoogleAppEngine服务
习题
参考文献
第3章Amazon云计算AWS
3.1基础存储架构Dynamo
3.1.1Dynamo概况
3.1.2Dynamo架构的主要技术
3.2弹性计算云EC
3.2.1EC2的基本架构
3.2.2EC2的关键技术
3.2.3EC2的安全及容错机制
3.3简单存储服务S
3.3.1S3的基本概念和操作
3.3.2S3的数据一致性模型
3.3.3S3的安全措施
3.4非关系型数据库服务SimpleDB和DynamoDB
3.4.1非关系型数据库与传统关系数据库的比较
3.4.2SimpleDB
3.4.3DynamoDB
3.4.4SimpleDB和DynamoDB的比较
3.5关系数据库服务RDS
3.5.1RDS的基本原理
3.5.2RDS的使用
3.6简单队列服务SQS
3.6.1SQS的基本模型
3.6.2SQS的消息
3.7内容推送服务CloudFront
3.7.1CDN
3.7.2CloudFront
3.8其他Amazon云计算服务
3.8.1快速应用部署ElasticBeanstalk和服务模板CloudFormation
3.8.2DNS服务Router
3.8.3虚拟私有云VPC
3.8.4简单通知服务和简单邮件服务
3.8.5弹性MapReduce服务
3.8.6电子商务服务DevPay、FPS和SimplePay
3.8.7Amazon执行网络服务
3.8.8土耳其机器人
3.8.9数据仓库服务Redshift
3.8.10应用流服务AppStream和数据流分析服务Kinesis
3.9AWS应用实例
3.9.1照片和视频共享网站SmugMug
3.9.2视频制作网站Animoto
3.9.3网站排名Alexa
3.10小结
习题
参考文献
第4章微软云计算WindowsAzure
4.1微软云计算平台
4.2微软云操作系统WindowsAzure
4.2.1WindowsAzure概述
4.2.2WindowsAzure计算服务
4.2.3WindowsAzure存储服务
4.2.4WindowsAzureConnect
4.2.5WindowsAzureCDN
4.2.6Fabric控制器
4.3微软云关系数据库SQLAzure
4.3.1SQLAzure概述
4.3.2SQLAzure关键技术
4.3.3SQLAzure和SQLServer对比
4.4WindowsAzureAppFabric
4.4.1AppFabric概述
4.4.2AppFabric关键技术
4.5WindowsAzureMarketplace
4.6WindowsAzure服务平台
4.6.1网站
4.6.2虚拟机
4.6.3云服务
4.6.4移动服务
4.6.5大数据处理
4.6.6媒体支持
习题
参考文献
第5章Hadoop2.0:主流开源云架构
5.1引例
5.1.1问题概述
5.1.2常规解决方案
5.1.3分布式下的解决方案
5.1.4小结
5.2Hadoop2.0简述
5.2.1Hadoop2.0由来
5.2.2Hadoop2.0相关项目
5.2.3Hadoop应用
5.3Hadoop2.0部署
5.3.1部署综述
5.3.2传统解压包部署
5.4Hadoop2.0体系架构
5.4.1Hadoop2.0公共组件Common
5.4.2分布式文件系统HDFS
5.4.3分布式操作系统Yarn
5.4.4Hadoop2.0安全机制简介
5.5Hadoop2.0访问接口
5.5.1访问接口综述
5.5.2浏览器接口
5.5.3命令行接口
5.6Hadoop2.0编程接口
5.6.1HDFS编程
5.6.2Yarn编程
习题
参考文献
第6章Hadoop2.0大家族
6.1Hadoop2.0大家族概述
6.1.1分布式组件
6.1.2部署概述
6.2ZooKeeper
6.2.1ZooKeeper简介
6.2.2ZooKeeper入门
6.3Hbase
6.3.1Hbase简介
6.3.2Hbase入门
6.4Pig
6.4.1Pig简介
6.4.2Pig入门
6.5Hive
6.5.1Hive简介
6.5.2Hive入门
6.6Oozie
6.6.1Oozie简介
6.6.2Oozie入门
6.7Flume
6.7.1Flume简介
6.7.2Flume入门
6.8Mahout
6.8.1Mahout简介
6.8.2Mahout入门
6.9小结
习题
参考文献
第7章虚拟化技术
7.1虚拟化技术简介
7.2服务器虚拟化
7.2.1服务器虚拟化的层次
7.2.2服务器虚拟化的底层实现
7.2.3虚拟机迁移
7.2.4隔离技术
7.2.5案例分析
7.3存储虚拟化
7.3.1存储虚拟化的一般模型
7.3.2存储虚拟化的实现方式
7.3.3案例分析
7.4网络虚拟化
7.4.1核心层网络虚拟化
7.4.2接入层网络虚拟化
7.4.3虚拟机网络虚拟化
……
第8章OpenStack开源虚拟化平台
第9章云计算数据中心
第10章云计算核心算法
第11章中国云计算技术
第12章总结与展望