Hadoop HDFS深度剖析与实践

1. 互联网大厂技术专家倾力之作，大数据从业者入门推荐阅读。2. 140分钟讲解视频扫码即可观看。3. Hadoop项目源代码免费下载。

本书以HadoopHDFS为载体，介绍了构建一款分布式系统（尤其是存储方向）所需的核心技术，所有内容均基于当前较新的3.3.x/3.4.x版本，分别从理论和实践两个维度逐一阐述。本书主要包括两篇：核心原理篇介绍了HDFS的诞生历史、元数据及Block管理、节点间通信机制、读写数据流程和高可用实现原理等；拓展与实践篇从实际出发，充分考虑了用户在应用过程中会遇到的痛点，详细介绍了集群拓展方法、数据分层存储、集群维护与多租户实施等实践经验。本书各章节都配有必要的流程图和原理分析图，便于读者阅读理解，并精选了非常有用的实际案例及拓展知识。阅读本书后，相信会给读者带来“1+1>2”的效果。本书非常适合大数据从业者、云计算领域研发及运维人员、高校研究生和热衷于分布式的技术极客阅读学习。

前言
第1篇核心原理篇
第1章HDFS历史延展
1.1分布式与文件系统
1.1.1分布式文件系统部署架构
1.1.2系统性能的影响因素
1.2HDFS设计及实现思想
1.2.1HDFS发展历史
1.2.2HDFS特性
1.2.3HDFS服务视图
1.2.4HDFS架构
1.3小结
第2章元数据架构
2.1内存Tree设计
2.1.1Namenode介绍
2.1.2Namenode启动
2.1.3meta视图
2.1.4FsDirectory和INodeMap
2.1.5文件维护
2.2FsImage和EditLog
2.2.1FsImage分析
2.2.2EditLog分析
2.3meta更新
2.3.1内存结构Update
2.3.2拓展：锁优化
2.4小结
第3章数据管理
3.1Namespace
3.1.1Namespace概况
3.1.2Namenode与Namespace
3.1.3DataNode与Namespace
3.2Slave节点
3.2.1Heartbeat机制
3.2.2FsDataset和DataStorage
3.2.3DataNode检查器
3.2.4存储类型
3.2.5拓展：NVDIMM
3.3Topology(Rack)Awareness
3.3.1TopologyAwareness在分布式存储中的意义
3.3.2TopologyAwareness在HDFS中实现
3.3.3Topology改进
3.4小结
第4章Block与副本
4.1理解Block
4.1.1Block构成解析
4.1.2副本存储解析
4.2Block状态管理
4.2.1UnderConstruction
4.2.2Committed
4.2.3Complete
4.2.4UnderRecovery
4.2.5Block状态小结
4.3副本状态管理
4.3.1RBW
4.3.2finalized
4.3.3RWR
4.3.4RUR
4.3.5Temporary
4.3.6副本状态小结
4.4Block管理
4.4.1无效Block
4.4.2损坏Block
4.4.3缺失与冗余Block
4.4.4BlockRecovery
4.5副本策略
4.5.1位置策略
4.5.2选盘(Volume)策略
4.5.3选盘策略改进
4.6小结
第5章通信与访问
5.1HDFSRPC
5.1.1ProtocolBuffers介绍
5.1.2RPC架构
5.1.3非幂等访问
5.2文件写入
5.2.1数据包(packet)与Pipeline
5.2.2数据写入
5.2.3Lease管理与pipelineRecovery
5.3数据访问
5.3.1文件读剖析
5.3.2short-circuit
5.3.3读写策略改进
5.4小结
第6章HA和QJM
6.1HA发展路径
6.2QuorumJournalManager
6.2.1分布式一致性原理
6.2.2Edit共享存储系统
6.2.3QJM架构设计
6.2.4EditRecovery
6.3HA原理
6.3.1ZKFC解析
6.3.2HA隔离机制
6.3.3Multi-Standby特性
6.3.4HA优化及改进
6.4小结
第7章缓存
7.1分布式系统缓存设计
7.1.1本地缓存
7.1.2分布式缓存
7.2集中式缓存管理
7.2.1原理介绍
7.2.2缓存调度
7.2.3DataNode缓存原理
7.2.4Cache&Uncache场景
7.3缓存实践场景及改进
7.3.1实践场景介绍
7.3.2集中式缓存V2
7.4小结
第2篇拓展与实践篇
第8章集群拓展
8.1水平拓展
8.1.1水平拓展策略及实践
8.1.2Router-BasedFederation
8.2垂直伸缩
8.2.1垂直伸缩策略及实践
8.2.2HDFSQuotas
8.3多Namespace业务规划
8.4小结
第9章数据分层
9.1存储分层的意义
9.2HDFS存储分层
9.2.1冷热集群分层管理
9.2.2异构分层存储
9.2.3动态感知数据类型
9.3纠删码（ErasureCoding）
9.3.1EC使用介绍
9.3.2常见EC算法介绍
9.3.3EC读写解析
9.4数据迁移
9.4.1DistCp迁移
9.4.2FastCopy迁移
9.5小结
第10章监控、多租户和数据湖
10.1大数据监控
10.1.1基础设施监控采集
10.1.2故障自愈
10.2多租户与认证
10.2.1多租户存储规划
10.2.2基于Kerberos的认证
10.2.3基于DelegationToken的认证
10.3HDFS与DataLakes
10.4小结