NoSQL数据库原理

  

   本书对统称为NoSQL的分布式非关系型数据库原理和使用方法进行介绍。靠前章，首先介绍NoSQL数据库的起源背景和设计理念，以及相关技术概念。其次介绍了大数据技术体系，以及NoSQL在该技术体系的地位和作用。第二章首先回顾关系型数据库的主要机制，以及NoSQL数据库的常见技术原理，以及NoSQL的常见存储模式。第三章对Hadoop工具进行介绍，重点介绍HDFS的技术原理和基本使用方法。第四章介绍HBase的基本架构、基本使用方法和编程方法。第五章介绍HBase中核心技术原理，包括水平分区机制、数据写入机制、列族与合并机制等。对HBase中的管理方法、深入使用方法进行简介。以及对HBase的第三方插件与工具进行介绍。第六章介绍Cassandra的基本原理和使用方法。首先介绍AmazonDynamo的相关原理，其次介绍Cassandra的安装配置与CQL语言。第七章介绍MongoDB为代表的文档型数据库的原理和基本使用方法。第八章介绍其他一些知名的NoSQL数据库技术与工具。

侯宾，2007年7月起在北京邮电大学任教，教学经验丰富，平均年教学时长在100小时以上，在学生评教中一直具有良好的评价。所主讲课程《信号与系统》、《电路分析基础》等均属于北京市精品课程，对教学过程管理和内容体系要求较高。

   第1章绪论1

1.1数据库的相关概念2

1.1.1关系型数据库管理系统2

1.1.2关系型数据库的瓶颈4

1.1.3NoSQL的特点4

1.1.4NewSQL的概念6

1.1.5NoSQL的典型应用场景7

1.2大数据的技术体系8

1.2.1大数据的特征9

1.2.2大数据的采集10

1.2.3大数据的存储11

1.2.4大数据的管理和使用13

1.2.5数据可视化13

1.2.6大数据安全与治理15

小结15

思考题16

第2章NoSQL数据库的基本原理17

2.1关系型数据库的原理简述18

2.1.1关系模型18

2.1.2关系型数据库的完整性约束19

2.1.3关系型数据库的事务机制19

2.1.4关系型数据库的分布式部署21

2.2分布式数据管理的特点23

2.2.1数据分片24

2.2.2数据多副本24

2.2.3一次写入多次读取26

2.2.4分布式系统的可伸缩性27

2.3分布式系统的一致性问题27

2.3.1CAP原理28

2.3.2BASE和最终一致性29

2.3.3Paxos算法简介30

2.4NoSQL的常见模式33

2.4.1键值对存储模式33

2.4.2文档式存储模式34

2.4.3列存储模式35

2.4.4图存储模式36

2.5NoSQL系统的其他相关技术37

2.5.1分布式数据处理37

2.5.2时间同步服务38

2.5.3布隆过滤器38

小结40

思考题40

第3章HDFS的基本原理41

3.1Hadoop概述42

3.1.1Hadoop的由来42

3.1.2Hadoop的架构与扩展43

3.1.3Hadoop的部署需求45

3.2HDFS原理46

3.2.1HDFS架构46

3.2.2Namenode的数据结构47

3.2.3数据分块和多副本机制48

3.2.4数据读写原理50

3.2.5HDFS支持的序列化文件51

3.3部署和配置HDFS52

3.3.1部署HDFS53

3.3.2HDFS的基本配置55

3.3.3集群的启动和停止57

3.4使用和管理HDFS58

3.4.1管理和操作命令58

3.4.2格式化Namenode59

3.4.3Namenode的安全模式60

3.4.4元数据恢复61

3.4.5子节点添加与删除61

3.4.6HDFS文件系统操作62

3.4.7以Web方式查看文件系统64

3.5MapReduce原理简介66

3.6Hive分布式数据仓库68

小结69

思考题69

第4章HBase的基本原理与使用70

4.1HBase概述71

4.2HBase的数据模型72

4.3HBase的拓扑结构74

4.4HBase部署与配置75

4.5子节点伸缩性管理78

4.6HBase的基本操作79

4.6.1HBaseShell79

4.6.2表和列族操作79

4.6.3数据更新82

4.6.4数据查询83

4.6.5过滤查询85

4.6.6快照操作89

4.7批量导入导出89

4.7.1批量导入数据89

4.7.2备份和恢复91

4.8通过Java访问HBase92

4.8.1开发环境的配置92

4.8.2表的连接和操作93

4.8.3数据更新94

4.8.4数据查询96

4.8.5删除列和行97

4.8.6过滤器的使用98

4.9通过Python访问HBase99

4.9.1基于Thrift框架的多语言编程99

4.9.2环境准备100

4.9.3代码分析101

小结104

思考题104

第5章HBase的高级原理105

5.1水平分区原理106

5.1.1META表106

5.1.2数据写入和读取机制108

5.1.3预写日志110

5.1.4分区拆分111

5.2列族与Store113

5.2.1列族的属性113

5.2.2表在HDFS上的存储115

5.2.3HFile的结构116

5.2.4Storefile合并119

5.3数据表的基本设计原则121

5.4HBase集群的高可用性与伸缩性121

5.4.1Zookeeper的基本原理122

5.4.2基于Zookeeper的高可用性124

5.4.3独立安装Zookeeper125

5.4.4集群间同步复制126

5.5HBase的扩展128

5.5.1协处理器机制128

5.5.2基于HBase的分布式处理129

5.5.3扩展开源软件131

5.5.4FusionInsightHD简介134

小结135

思考题136

第6章Cassandra的原理和使用137

6.1Cassandra概述138

6.2Cassandra的技术原理138

6.2.1AmazonDynamo138

6.2.2Cassandra的数据模型143

6.2.3Yaml格式145

6.2.4其他相关技术原理146

6.3Cassandra的部署与配置147

6.3.1单节点部署Cassandra147

6.3.2Cassandra的配置文件148

6.3.3Cassandra集群部署150

6.3.4集群启动150

6.4CQL语言与cqlsh环境151

6.4.1cqlsh环境简介152

6.4.2键空间管理153

6.4.3数据表管理156

6.4.4CQL的数据类型158

6.5CQL数据查询161

6.5.1基本数据查询161

6.5.2条件查询162

6.5.3索引机制164

6.5.4使用标量函数166

6.6CQL数据更新166

6.6.1插入、更新和删除166

6.6.2读写一致性169

6.6.3集合列操作171

6.6.4计数器列的操作174

6.6.5日期时间列的操作175

6.6.6批量导入/导出数据176

6.7基本集群维护方法177

6.7.1编程接口简介177

6.7.2多数据中心与机架感知策略177

6.7.3Nodetool工具178

6.7.4常见节点管理方法180

6.8编程访问Cassandra181

6.8.1通过Java访问Cassandra181

6.8.2通过Python访问Cassandra182

小结183

思考题183

第7章MongoDB的原理和使用184

7.1概述185

7.2MongoDB的技术原理185

7.2.1文档和集合185

7.2.2分片机制和集群架构186

7.2.3CouchDB简介188

7.3安装配置MongoDB189

7.3.1单机环境部署189

7.3.2MongoDB的配置文件191

7.4基本命令行操作191

7.4.1Shell环境191

7.4.2数据库和集合操作193

7.4.3基本增删改查操作194

7.4.4聚合和管道196

7.4.5索引操作198

7.4.6Gridfs的原理和操作201

7.5批量操作和数据备份203

7.6MongoDB集群化部署204

7.6.1单机多实例204

7.6.2部署复制集205

7.6.3部署分片集209

7.7通过Java访问MongoDB213

7.7.1表和数据操作213

7.7.2Gridfs操作216

7.8通过Python访问MongoDB218

小结220

思考题220

第8章其他NoSQL数据库简介221

8.1图数据库简介222

8.2Neo4j的安装与使用223

8.2.1在Windows中安装Neo4j223

8.2.2在CentOS7中安装Neo4j224

8.2.3Neo4j的Web操作界面225

8.2.4Cypher语言简介226

8.2.5通过Java访问Neo4j229

8.2.6通过Python访问Neo4j230

8.3Redis和内存数据库231

8.4搜索引擎系统232

小结236

思考题236

附录237

附录1在CentOS7上实现SSH无密码访问237

附录2在CentOS7上部署NTP服务端与客户端239

附录3在CentOS7上安装Python3240

附录4在CentOS7上安装Thrift编译器241

附录5《NoSQL数据库原理》配套实验课程方案简介242