《云存储技术:分析与实践》采用循序渐进的方法,引领读者逐步了解云存储领域的关键技术.在力求保持全面性、通俗性的同时,分析讨论了一系列云存储领域的高级话题,例如存储虚拟化、系统虚拟化、分布式存储系统、绿色存储、固态存储、重复数据删除和大数据近似求解等内容。《云存储技术:分析与实践》融入了作者的前期研究成果,并介绍了基于Hadoop、Swift构建云存储系统的实践经验。
《云存储技术:分析与实践》在内容上共分为七章,包括云存储概述、存储技术基础、虚拟化技术、分布式存储系统、云存储关键技术研究、基于Hadoop构建云存储系统和基于Openstack Swift构建云存储系统。
《云存储技术:分析与实践》作为科研课题结项的成果,既是对项目实践经验的总结,也是对前人研究工作的梳理,可供信息存储相关领域的系统管理人员及分析、设计、开发人员参考,也可作为高等院校相关专业的辅修教材。
在经历计算浪潮和网络浪潮之后,数据存储技术已经发展为信息领域的三大支撑技术之一。随着云计算、物联网等信息技术的发展,异构数据源越来越多,数据量飞速增长,这就使得社会对数据存储的需求逐日攀升。同时,借力于大数据分析,数据存储为社会带来的价值也日益增大。如今,数据存储作为与社会生产生活息息相关的关键性资产受到了社会全方位的关注。云存储是一种以数据存储和管理为核心的云计算系统,具有易扩展、易管理、低成本、安全可靠、服务不中断等特点,是大数据时代数据存储的首要选择。
目前,云存储作为云计算领域的细分和延伸,单独对其进行讨论的书籍还不多。本书作为课题项目的成果,目标在于弥补这种缺憾。全书采用循序渐进的方法,对云存储技术进行系统性梳理,引导读者逐步了解云存储领域的背景知识和主流技术,在力求保持通俗易懂的基础上,还包含了对云存储技术领域高级话题的讨论。
本书共分为七章。第一章概括介绍云存储系统的概念、分类、系统结构、优势、设计思想、技术标准、技术基础,为后续章节的展开埋下伏笔。第二章介绍存储技术的基础。首先介绍了以磁盘驱动器、固态盘、磁带、光盘和相变存储器为代表的外存储设备,其次讨论了磁盘阵列存储技术,再次分析比较了直连存储、附网存储和存储区域网的相关概念、原理和特点,最后介绍了数据保护、分级存储和存储系统的评价体系。第三章介绍虚拟化技术,通过回顾其发展历程,对其进行归类,着重讲述了存储虚拟化、系统虚拟化、桌面虚拟化和应用虚拟化,并介绍了典型的虚拟化产品,如VMware vSphere、Microsoft Azure和Xen。第四章对分布式存储系统进行介绍,分别讨论了以HDFS、TFS和Lustre为代表的分布式文件系统,以Dynamo为代表的分布式键值系统,以Bigtable和Hbase为代表的分布式表格系统,以及以MongoDB为代表的分布式数据库系统。第五章集中介绍在云存储相关领域的研究成果,涵盖了节能存储、固态存储、混合存储、分布式文件系统的小文件处理、基于MapReduce的近似计算等关键技术。第六章从实践的角度出发,介绍了如何基于Hadoop构建简单的云存储系统。第七章介绍OpenStack的对象存储服务Swift,从实践的角度梳理了基于Open Stack Swift构建云存储系统的安装、使用、管理过程。
本书编写过程中,王峰教授、赵少锋博士、史晓东博士和华中科技大学有关老师和同学给予了支持与帮助,经济管理出版社的高娅老师对本书的校订付出了大量心血,在此表示衷心的感谢。
此外,还要特别感谢经济管理出版社对本书出版的大力支持,感谢家人在我多年的项目工作中给予我最坚定的支持和无私奉献。由于笔者水平有限,书中难免有错误和不妥之处,敬请读者批评指正,共同进步。
刘洋,男,1980年生,河南方城人,博士,河南财经政法大学云计算与大数据研究所所长。研究方向为固态存储、云存储和大数据处理等。主持完成省部级项目2项,参与完成国家863、973和国家自然科学基金重点项目1项,作为主要完成人参与省部级项目9项,发表SCI/EI检索论文6篇,核心论文7篇,编写专著1部,参编教材3部,CCF、ACM会员。
第一章 云存储概述
第一节 引言
第二节 云存储概述
第三节 云存储的分类
第四节 云存储的系统架构
第五节 云存储的优势
第六节 云存储的主要思想
第七节 虚拟存储容器
第八节 云存储的互操作性
第九节 云存储技术基础
第二章 存储技术基础
第一节 外部存储设备
第二节 磁盘阵列
第三节 直连存储
第四节 附网存储
第五节 存储区域网
第六节 分布式文件系统
第七节 数据保护技术
第八节 数据备份
第九节 镜像与快照
第十节 分级存储管理
第十一节 存储系统的功能需求
第十二节 存储系统的评价指标
第三章 虚拟化技术
第一节 虚拟化概述
第二节 存储虚拟化
第三节 系统虚拟化
第四节 桌面虚拟化
第五节 应用虚拟化
第六节 典型虚拟化产品:VMware vSphere
第七节 典型虚拟化产品:Microsoft Azure
第八节 典型虚拟化产品:Xen
第九节 典型虚拟化产品:KVM
第四章 分布式存储系统
第一节 海量数据的分类
第二节 分布式文件系统
第三节 分布式键值系统
第四节 分布式表格系统
第五节 分布式数据库
第五章 云存储关键技术研究
第一节 一种基于工作集副本的存储虚拟化层节能技术
第二节 基于大规模云环境的绿色资源分配协议
第三节 基于MLC/SLC双模闪存芯片的闪存转换层
第四节 面向混合存储系统的块层多顺序流预取算法
第五节 云存储环境下基于HDFS的海量小文件装箱算法
第六节 一种基于两级随机抽样的近似求解方法
第六章 基于Hadoop构建云存储系统
第七章 基于Open Stack Swift构建云存储系统
参考文献