大数据存储与管理

当今是大数据与人工智能的时代。面对信息的激流，多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，成为IT产业中拥有潜力的蓝海。大数据存储是一门理论性和实践性都很强的课程。本书针对大数据、人工智能、信息管理、经济管理和其他相关专业学生的发展需求，系统、全面地介绍了大数据存储与管理的基本知识和技能，介绍了大数据存储基础、关系型数据库、键值数据库、文档数据库、列族数据库、图数据库和NewSQL数据库。全书具有较强的系统性、可读性和实用性。本书针对高等职业院校相关专业“大数据存储”“大数据存储与管理”“大数据管理”等课程设计编写，是具有丰富实践特色的教材，也可供有一定实践经验的软件开发人员、管理人员参考和作为继续教育的教材。

项目1大数据存储基础
任务1.1了解大数据与分布式系统
1.1.1大数据定义
1.1.2开源技术的商业支援
1.1.3分布式系统
1.1.4Hadoop分布式处理技术
1.1.5大数据的数据处理基础
1.1.6大数据存储的技术路线
作业
实训与思考熟悉大数据存储基础
任务1.2熟悉数据管理基础
1.2.1数据集成模式
1.2.2关于数据湖
1.2.3数据资产管理
1.2.4数据管理从行动开始
1.2.5分布式数据管理
1.2.6CAP定理：一致性、可用性及分区保护性
作业
实训与思考熟悉数据管理的概念与功能
任务1.3熟悉数据管理技术的发展
1.3.1早期的数据管理系统
1.3.2文件数据管理系统
1.3.3层次数据管理系统
1.3.4网状数据管理系统
1.3.5引发变革的关系型数据库
1.3.6Web程序的4个特征
1.3.7催生NoSQL数据库的动因分析
作业
实训与思考熟悉数据管理技术：SQL还是NoSQL
任务1.4熟悉NoSQL数据模型
1.4.1NoSQL数据库性质BASE
1.4.2体现最终一致性
1.4.3在响应时间、一致性与持久性之间寻求平衡
1.4.4键值数据库类型
1.4.5文档数据库类型
1.4.6列族数据库类型
1.4.7图数据库类型
1.4.8选用适合的NoSQL数据库
作业
实训与思考案例研究：选用适合的NoSQL数据库
项目2关系型数据库
任务熟悉RDBMS与SQL
2.0.1关系型数据库
2.0.2RDBMS的结构
2.0.3结构化查询语言SQL
2.0.4SQL语句的结构
2.0.5关系型数据库的ACID特征
2.0.6关系型数据库的三大范式
作业
实训与思考熟悉关系型数据库：RDBMS与SQL
顼目3键值数据库
任务3.1掌握键值数据库基础
3.1.1从数组到键值数据库
3.1.2键值数据库的重要特性
3.1.3键：有意义的标识符
3.1.4值：存放任意数据
3.1.5键值数据库的数据建模
3.1.6键值数据库的架构
3.1.7Redis键值数据库
作业
实训与思考案例研究：了解Redis键值数据库
任务3.2熟悉键值数据库的设计
3.2.1哈希函数
3.2.2碰撞
3.2.3压缩
3.2.4键的设计与分区
3.2.5设计结构化的值
3.2.6键值数据库的局限
作业
实训与思考案例研究：用键值数据库管理移动应用程序的配置
项目4文档数据库
任务4.1掌握文档数据库基础
4.1.1关于文档
4.1.2文档数据库的数据结构
4.1.3文档数据库的基本操作
4.1.4文档数据库的分区架构
4.1.5数据建模与查询处理
4.1.6MongoDB文档数据库
作业
实训与思考案例研究：熟悉MongoDB文档数据库
任务4.2熟悉文档数据库的设计
4.2.1文档数据库的设计思考
4.2.2规范化还是去规范化
4.2.3应对可变的文档
4.2.4编制数量适中的索引
4.2.5MongoDB分布式运算模型MapReduce
4.2.6MongoDB存储原理
4.2.7大文件存储规范GridFS
4.2.8MongoDB的复制与分片
作业
实训与思考案例研究：客户的货物清单
项目5列族数据库
任务5.1掌握列族数据库基础
5.1.1列族数据库谷歌BigTable
5.1.2HDFS分布式存储
5.1.3列族数据库与其他数据库的对比
5.1.4列族数据库使用的架构
5.1.5列族数据库的使用场景
5.1.6列族数据库的基本组件
5.1.7HBase列族数据库
作业
实训与思考熟悉列族数据库
任务5.2熟悉列族数据库的设计
5.2.1列族数据库的设计
5.2.2列族数据库结构
5.2.3处理流程及协议
5.2.4设计数据表格
5.2.5编制索引
5.2.6应对大数据的工具
作业
实训与思考案例研究：客户数据分析
项目6图数据库
任务6.1掌握图数据库基础
6.1.1图及其元素
6.1.2关系的建模
6.1.3图数据库
6.1.4图的操作
6.1.5图和节点的属性
6.1.6图的类型
6.1.7Neo4j图数据库
作业
实训与思考案例研究：安装和了解Neo4j图数据库
任务6.2熟悉图数据库的设计
6.2.1设计图模型
6.2.2一个描述社交网络的图数据库
6.2.3用查询请求引领模型设计
6.2.4Cypher：对图的声明式查询
6.2.5Gremlin基本图模型遍历查询
6.2.6用深度或广度优先搜索遍历图模型
6.2.7图数据库设计技巧
作业
实训与思考案例研究：优化运输路线
项目7NewSQL数据库
任务进入NewSQL数据库
7.0.1数据库行业全景图
7.0.2应运而生的NewSQL数据库
7.0.3NewSQL典型代表——NuoDB
7.0.4原生数据库
……