海量数据存储

本书在介绍大数据背景以及物联网环境中数据基本特征的基础上，详细介绍了海量数据存储的相关知识，内容包括：数据存储基本原理、容错磁盘阵列（RAID）技术、网络存储技术、分布式文件系统、海量存储系统、存储优化技术、存储技术在物联网中的应用，以及新型存储芯片技术和未来存储技术的发展方向。本书内容清晰、简洁，每章后都有本章小结和扩展阅读，以加深所学知识。本书可作为高等院校计算机应用、物联网、信息管理系统等专业的本科生或研究生教材，也可作为从事信息存储系统开发管理、云存储系统构建、物联网应用研发等人员的培训用书或参考书。

方粮，博士，国防科学技术大学计算机学院研究员。长期从事大规模数据存储技术的研究。曾参与不错计算机存储系统研制和集成电路设计工作，获国家科技进步一等奖一项、二等奖一项，部委级科技进步一、二、三等奖多项。2006~2015年任中国计算机学会信息存储技术专业委员会主任委员、中国计算机学会理事。目前主要从事新型存储器件与系统的研究。

前言
教学建议
第1章海量数据存储的基本概念
1.1数据与数据存储
1.1.1数据的基本概念
1.1.2数据存储的基本概念
1.2物联网与大数据时代面临的机遇和挑战
1.3海量数据与海量数据存储
1.3.1海量数据的基本概念
1.3.2海量数据的存储
1.4本章小结与扩展阅读
思考题
参考文献
第2章数据存储的基本原理
2.1数据存储的实现
2.1.1存储介质的不同状态
2.1.2存储介质的状态感知
2.1.3存储介质的状态转换
2.2数据的写入与读出技术
2.3数据存储设备的发展历史与分类
2.3.1数据存储设备的发展历史
2.3.2数据存储设备的分类
2.4磁盘存储器
2.4.1磁盘存储器的基本结构
2.4.2磁盘存储器的工作原理
2.4.3磁盘存储器的性能指标
2.4.4磁盘存储器的发展趋势
2.5光盘存储器
2.5.1光盘存储器的发展过程
2.5.2光盘存储器的基本原理
2.5.3光盘存储器的发展趋势
2.6数据存储系统
2.6.1数据存储系统的基本概念
2.6.2Cache的工作原理与替换策略
2.6.3虚拟存储器
2.7存储系统实验
2.7.1实验一：虚拟磁盘（RamDisk）
2.7.2实验二：文件系统与目录结构
2.8本章小结与扩展阅读
思考题
参考文献
第3章容错磁盘阵列（RAID）的技术和应用
3.1RAID的工作原理
3.1.1磁盘阵列的基本概念
3.1.2磁盘阵列的特性
3.1.3磁盘阵列的若干专用术语
3.2RAID的分级与结构
3.2.1RAID0
3.2.2RAID1
3.2.3RAID2
3.2.4RAID3
3.2.5RAID4
3.2.6RAID5
3.2.7RAID6
3.2.8RAID7
3.2.9RAIDO+1
3.2.10MatrixRAID
3.2.11JBOD和NRAID
3.2.12NVRAID
3.3RAID的实现技术
3.3.1概述
3.3.2软件RAID的实现技术
3.3.3硬件RAID的实现技术
3.4RAID的性能指标与选购要点
3.4.1RAID的性能指标
3.4.2影响RAID性能的因素
3.4.3磁盘阵列控制器模式对比
3.4.4RAID的选购要点
3.5本章小结与扩展阅读
思考题
参考文献
第4章网络存储技术
4.1概述
4.1.1网络存储的分类
4.1.2网络存储的发展趋势
4.2DAS
4.3NAS
4.3.1NAS的主要特点
4.3.2NAS的基本结构
4.3.3NAS的工作原理
4.3.4NAS的应用
4.3.5NAS与DAS的比较
4.3.6NAS的选购要点
4.4SAN
4.4.1SAN技术的产生
4.4.2SAN的结构与工作原理
4.4.3SAN的应用
4.4.4NAS与SAN的比较
4.4.5融合NAS的SAN的发展趋势
4.5iSCSI
4.5.1iSCSI简介
4.5.2iSCSI协议及实现
4.5.3iSCSI的性能
4.5.4iSCSI的安全性问题
4.5.5iSCSI的可用性问题
4.5.6基于iSCSI的存储系统
4.5.7iSCSI的应用
4.5.8iSCSI磁盘阵列产品选购要点
4.5.9iSCSI的发展趋势
4.6云存储技术
4.6.1概述
4.6.2云存储的模型与应用
4.6.3云存储的分类和管理工具
4.6.4基于云存储技术实现在线备份的安全
4.6.5基于云的灾难恢复功能
4.7本章小结与扩展阅读
思考题
参考文献
第5章海量存储系统的体系结构与管理
5.1海量存储系统的体系结构
5.1.1多级存储层次的基本概念
5.1.2多级存储层次的性能分析
5.2分布式文件系统
5.2.1分布式文件系统的基本概念
5.2.2分布式文件系统的关键技术
5.2.3Ceph：一个LinuxPB级分布式文件系统
5.3Hadoop及数据分布式管理
5.3.1Hadoop的基本概念
5.3.2Hadoop的实现
5.3.3Hadoop的应用
5.4海量传感数据管理系统的设计
5.4.1海量传感数据管理系统的设计要求
5.4.2海量传感数据管理系统的总体结构
5.4.3HBase数据库设计
5.4.4传感数据存储管理功能
5.4.5传感数据查看功能
5.5适应新型存储介质的存储体系结构
5.5.1存储体系结构的变化
5.5.2面向新型存储介质的存储体系结构
5.6本章小结与扩展阅读
思考题
参考文献
第6章存储管理自动化与优化技术
6.1存储管理的自动化与标准化
6.1.1为什么需要存储管理自动化
6.1.2哪些存储管理工作可以自动化
6.1.3存储管理自动化的实现
6.1.4存储管理的标准化
6.1.5SMI—S的主要技术特性及应用
6.2虚拟存储技术
6.2.1虚拟存储的特点
6.2.2存储虚拟化的关键技术
6.2.3虚拟存储的实现模式
6.2.4存储虚拟化的应对措施
6.3软件定义存储
6.3.1软件定义存储的基本概念
6.3.2软件定义存储的体系结构
6.3.3软件定义存储的理念对存储体系设计的影响
6.3.4软件定义存储实施过程需要考虑的问题
6.3.5软件定义存储的发展趋势
6.4数据备份与恢复
6.4.1数据备份与恢复的必要性
6.4.2数据备份与恢复的基本概念
6.4.3容灾与灾难恢复
6.4.4连续数据保护技术
6.4.5个人备份工具CrashPlan
6.5重复数据删除
6.5.1重复数据删除的基本概念
6.5.2重复数据删除的基本方法
6.5.3重复数据删除的关键技术
6.5.4源端重复数据删除的利与弊
6.5.5重复数据删除解决方案实例
6.6本章小结与扩展阅读
思考题
参考文献
第7章存储技术在物联网中的应用
7.1物联网数据的特征与存储需求
7.1.1物联网数据的特征
7.1.2物联网数据的存储需求
7.1.3物联网数据存储系统的评价指标
7.2物联网数据存储模式及实现技术
7.2.1物联网数据存储模式分类
7.2.2物联网典型的存储实现技术
7.2.3物联网存储模式的比较分析
7.2.4物联网数据存储技术的发展趋势
7.3物联网数据存储的高效解决方案
7.3.1物联网数据存储面临的挑战
7.3.2物联网数据存储的研究基础
7.3.3物联网数据存储的体系结构
7.3.4物联网数据存储的实现方法
7.3.5实例研究和讨论
7.4物联网数据中心设计的关键技术
7.4.1物联网数据中心面临的挑战
7.4.2物联网数据中心的总体结构
7.4.3物联网数据中心的应用
7.5TinyOS中的数据存储
7.5.1TinyOS简介
7.5.2卷
7.5.3存储配置数据
7.5.4存储日志数据
7.5.5存储大数据块
7.6无线传感器网络中的容错数据存储技术
7.6.1概述
7.6.2WSN容错存储的相关研究进展
7.6.3设计WSN容错存储方案应考虑的因素
7.6.4备份与恢复机制
7.6.5性能评价
7.7本章小结与扩展阅读
思考题
参考文献
第8章新型存储技术及发展趋势
8.1存储介质
8.1.1磁存储介质
8.1.2光存储介质
8.1.3半导体存储器
8.1.4DNA存储
8.1.5基于纳米颗粒的存储技术
8.2固态硬盘技术
8.2.1固态硬盘的结构与性能优化
8.2.2闪存感知的RAID技术
8.2.3基于PCIe接口的闪存阵列
8.3铁电存储器
8.4相变存储器
8.5阻变存储器
8.6自旋转移矩磁存储器
8.7本章小结与扩展阅读
思考题
参考文献

前  言在物联网技术不断发展、应用迅速推广的时代，以无线传感网为代表的数据源不断生产海量数据，像滚滚洪流涌向数据中心，数据存储正面临严峻挑战。大数据时代，各行各业的数据量急剧增加，在分析处理过程中需要进行暂时或长久的数据存储，传统的数据存储技术在容量、速度、功耗、可靠性等方面均难以胜任。为应对挑战，亟待普及与数据存储相关的基础知识，提高数据存储应用和管理的水平，也需要深入研究数据存储的体系结构、管理与优化等提高存储效率的相关技术，同时需要探索基于全新原理的、性能更加优越的存储新技术。本书旨在普及数据存储知识，开阔视野，以应对当前和未来面临的存储挑战。
    技术发展的推动和应用需求的牵引使得数据存储技术日新月异。本书内容力求覆盖存储技术的各个方面，从数据存储基本原理到存储系统的维护和管理，从数据存储发展历史到最新技术进展。通过学习本书，你可以掌握或了解：
    数据是什么？数据和信息有什么区别？数据如何存储？存储器是怎样工作的？存储设备是如何发展的？RAID的基本概念、级别和发展。
    网络存储的发展，DAS、NAS、SAN、iSCSI、云存储的工作原理。
    海量存储的体系结构和管理方法，体系结构如何适应存储器的变化？存储管理如何走向自动化？虚拟存储和软件定义存储有何区别？数据的备份与恢复，以及重复数据的删除。
    物联网中的数据有何特征？如何有效管理？如何可靠存储？古老的磁盘还充满生机吗？新型的非易失存储芯片进展如何？FRAM、RRAM、PRAM、STT-MRAM的原理、现状、前景如何？感谢上海交通大学傅育熙教授、西安交通大学桂小林教授、武汉大学黄传河教授、上海交通大学蒋建伟教授、华中科技大学秦磊华教授、上海交通大学王东教授、南开大学吴功宜教授、四川大学朱敏教授，在与他们的交流中，我学到了很多知识，开阔了视野，受益匪浅。特别感谢机械工业出版社华章公司温莉芳副总经理的指导和关心，本书是在温老师的鼓励下完成的。特别感谢机械工业出版社华章公司教材部朱劼编辑，感谢她不断的鼓励和极大的耐心及宽容。特别感谢负责本书的佘洁编辑和曲熠编辑，她们极其认真、细致的审阅和极具专业水平的修改建议使本书增色许多。
    海量数据存储技术的研究与应用需要多学科综合考虑，涉及材料、物理、计算机科学与技术、可靠性工程、系统科学、管理科学等，因此，存储器件与部件的研究、存储系统的方案设计、软硬件安装调试、日常应用和维护管理等工程都极具挑战性。海量数据存储的堡垒，有待我们探索和攻克!方  粮