大数据技术原理与应用

本书从大数据基础原理、大数据分析方法和大数据行业应用三个部分介绍大数据技术。全书共12章，内容包含大数据的基本概念，分布式基础架构Hadoop，分布式文件系统HDFS，NoSQL数据库，分布式计算框架MapReduce，大数据基本分析方法（聚类、分类与预测），大数据在搜索引擎、推荐系统以及其他行业的应用。本书在前7章设置8个实验，帮助读者初步掌握大数据技术、大数据分析与大数据应用的相关知识与操作技能。 本书可作为信息管理与信息系统相关专业的教材，也可用作计算机相关专业的教材。同时，本书在编写时考虑到前期没有接触过计算机原理、数据库、操作系统相关内容的读者群，尤其是信息管理相关专业的本科生、跨专业的研究生，帮助他们更好地理解和掌握大数据基础原理与方法。

前言
第1章 大数据概述
1.1 什么是大数据
1.1.1 关于大数据的预言
1.1.2 触发大数据产生的三种技术
1.1.3 大数据形成中遇到的问题及解决方案
1.1.4 各方对大数据的定义
1.2 大数据的类型与特征
1.2.1 按照数据结构分类
1.2.2 按照生产主体分类
1.2.3 按照作用方式分类
1.2.4 大数据的特征
1.3 大数据的思维方式
1.4 大数据的技术流程
1.4.1 总体处理流程
1.4.2 数据采集与数据预处理
1.4.3 数据存储
1.4.4 数据分析与数据挖掘
1.5 主流的大数据平台
1.5.1 Hadoop
1.5.2 Spark
1.5.3 Storm
1.5.4 Flink
1.5.5 主流的大数据平台比较
1.6 大数据集群的部署方式
1.6.1 分布式
1.6.2 云架构
1.7 实验1：熟悉虚拟环境、Linux、Java
1.7.1 安装VMware
1.7.2 Linux基本命令
1.7.3 在Linux中安装Java环境
1.8 习题与思考
第2章 分布式基础架构Hadoop
2.1 什么是Hadoop
2.2 Hadoop的发展历史
2.3 Hadoop的基本特性
2.4 深入了解Hadoop
2.4.1 Hadoop的体系结构
2.4.2 Hadoop的并行开发
2.4.3 Hadoop的生态系统
2.5 Hadoop与其他技术和框架
2.5.1 Hadoop与关系型数据库
2.5.2 Hadoop与云计算
2.6 实验2：快速搭建Hadoop集群环境
2.6.1 准备工作
2.6.2 安装配置虚拟机
2.6.3 配置固定IP并测试
2.6.4 克隆虚拟机
2.6.5 配置SSH无密码登录
2.6.6 配置时间同步服务
2.6.7 安装JDK
2.6.8 上传、解压Hadoop安装包
2.6.9 配置Hadoop
2.6.10 启动集群
2.6.11 查看集群监控
2.7 习题与思考
第3章 分布式文件系统HDFS
3.1 什么是HDFS
3.1.1 文件系统和计算机集群
3.1.2 分布式文件系统
3.1.3 HDFS
3.1.4 HDFS的优点和缺点
3.2 HDFS中的概念
3.2.1 块
3.2.2 三级寻址和元数据
3.2.3 命名空间
3.2.4 名称节点
3.2.5 第二名称节点
3.2.6 数据节点
3.2.7 客户端
3.2.8 心跳机制
3.2.9 块缓存
3.3 HDFS的存储原理
3.3.1 冗余存储机制
3.3.2 数据存取策略
3.3.3 数据的错误与恢复
3.4 HDFS的数据读写过程
3.4.1 RPC实现流程
3.4.2 文件的读流程
3.4.3 文件的写流程
3.5 HDFS的命令、界面及API
3.5.1 HDFS的主要命令
3.5.2 HDFS的Web界面
3.5.3 HDFS常用的Java API
3.6 实验3：HDFS编程实践
3.6.1 在Eclipse中创建项目
3.6.2 为项目添加需要用到的JAR包
3.6.3 编写Java应用程序
3.6.4 编译运行程序
3.6.5 应用程序的部署
3.7 习题与思考
第4章 NoSQL数据库
4.1 关系型数据库
4.1.1 关系模型
4.1.2 设计数据库
4.1.3 使用数据库
4.1.4 数据库恢复和数据保护
4.2 非关系型数据库NoSQL
4.2.1 关系型数据库和NoSQL的比较
4.2.2 NoSQL的基础理论
4.3 NoSQL数据库的分类
4.3.1 列族数据库
4.3.2 键值数据库
4.3.3 文档数据库
4.3.4 图数据库
4.3.5 四种NoSQL数据库的比较
4.4 列族数据库—HBase
4.4.1 HBase概述
4.4.2 HBase的数据模型
4.4.3 HBase的实现原理
4.4.4 HBase的系统架构
4.5 实验4：HBase的基本操作
4.5.1 HBase的安装
4.5.2 HBase的配置
4.5.3 使用Shell命令操作HBase
4.5.4 用程序操作HBase
4.6 文档数据库MongoDB
4.6.1 MongoDB概述
4.6.2 MongoDB的体系结构
4.6.3 MongoDB的数据类型
4.7 实验5：MongoDB的基本操作
4.7.1 MongoDB的安装
4.7.2 MongoDB的基本操作
4.7.3 MongoDB的索引操作
4.7.4 MongoDB的聚合操作
4.8 习题与思考
第5章 MapReduce原理
5.1 什么是MapReduce
5.1.1 MapReduce模型
5.1.2 MapReduce函数
5.2 MapReduce的体系架构
5.2.1 MapReduce的工作主体
5.2.2 MapReduce的工作流程
5.2.3 MapReduce的执行过程
5.2.4 Map任务和Reduce任务
5.3 Shuffle的具体过程
5.3.1 Shuffle过程简介
5.3.2 输入数据和执行Map任务
5.3.3 Partition操作
5.3.4 Sort操作
5.3.5 Combine操作
5.3.6 Merge操作
5.4 MapReduce的数学应用
5.4.1 在关系代数运算中的应用
5.4.2 分组与聚合运算
5.4.3 矩阵-向量乘法
5.4.4 矩阵乘法
5.5 习题与思考
第6章 MapReduce实践案例
6.1 实验6：WordCount
6.1.1 实验需求
6.1.2 实验设计
6.1.3 执行过程
6.1