Hadoop大数据处理与分析教程 慕课版

1. 慕课版教材，各章节都配备了以二维码为载体的微课。 2. 配套资源丰富，包括课件、源代码、题库。 3. 教材厚度适中，难度较低，案例式教学，适合应用型本科和职业院校。

本书系统全面地介绍了有关Hadoop的各类知识。全书共分11章，内容包括绪论、Linux操作系统的安装、Hadoop的伪分布式安装、Hadoop集群的搭建及配置、Hadoop HDFS命令、MapReduce编程入门、Hive、Sqoop、HBase、Spark的介绍与安装、综合案例——网络爬虫大数据分析。全书每章内容都与实例紧密结合，有助于学生理解知识、应用知识，达到学以致用的目的。
本书各章都配备了视频课程，并且在人邮学院平台上提供了相应的慕课课程。此外，本书还提供了所有实例的源代码、制作精良的电子课件、重点及难点教学视频、在线测试题（包括选择题、填空题题库及自测试卷等内容）。其中，源代码全部经过精心测试，能够在Ubuntu系统上编译和运行。
本书可作为应用型本科院校计算机专业和软件工程专业、高职院校软件专业及相关专业的教材，同时也适合Hadoop爱好者、初级的大数据开发人员参考使用。

第1章绪论1
1．1认识大数据2
1．1．1大数据的定义2
1．1．2大数据的特点2
1．1．3大数据行业应用3
1．1．4Hadoop与大数据5
1．1．5其他大数据处理平台5
1．1．6大数据人才7
1．2什么是Hadoop8
1．2．1Hadoop简介8
1．2．2Hadoop的发展历史8
1．2．3Hadoop的特点9
1．3Hadoop核心10
1．3．1分布式文件系统——HDFS11
1．3．2分布式计算框架——MapReduce13
1．4Hadoop常用组件14
1．5Hadoop在国内外的应用情况16
小结16
习题16
第2章Linux操作系统的安装17
2．1VirtualBox虚拟机的安装18
2．1．1VirtualBox的下载和安装18
2．1．2设置VirtualBox存储文件夹22
2．1．3在VirtualBox中创建虚拟机24
2．2Linux操作系统简介28
2．2．1概述28
2．2．2特点28
2．2．3Linux操作系统的组成29
2．2．4Linux基本命令31
2．2．5Linux操作系统的版本34
2．3Linux操作系统（Ubuntu）的安装34
2．3．1Linux操作系统（Ubuntu）的下载34
2．3．2安装Ubuntu36
2．3．3启动Ubuntu41
2．3．4设置终端42
2．3．5设置共享剪贴板45
2．3．6设置共享文件夹49
小结52
习题52
第3章Hadoop的伪分布式安装53
3．1JDK的检查与安装54
3．1．1检查是否安装JDK54
3．1．2安装JDK54
3．2配置SSH无密码登录58
3．3Hadoop的下载与安装61
3．3．1Hadoop的安装模式61
3．3．2Hadoop的下载62
3．3．3Hadoop的安装63
3．3．4配置Hadoop前准备65
3．4Hadoop环境配置66
3．4．1设置Hadoop环境变量66
3．4．2修改Hadoop配置文件68
3．4．3创建并格式化文件系统73
3．5启动Hadoop73
3．6查看HDFSWeb页面75
3．7查看YARNWeb页面76
小结77
习题77
第4章Hadoop集群的搭建及配置78
4．1Hadoop集群中节点角色79
4．2设置集群前的准备工作80
4．2．1集群中节点的规划80
4．2．2设置网络81
4．3设置服务器83
4．3．1设置Master服务器83
4．3．2复制虚拟机89
4．3．3设置Slave服务器92
4．3．4设置Master服务器到Slave服务器的SSH无密码登95
4．3．5格式化文件系统96
4．4启动和关闭Hadoop集群97
4．4．1启动和关闭Hadoop集群97
4．4．2验证Hadoop集群是否启动成功98
4．5查看Hadoop集群的基本信息99
4．5．1查看集群的HDFS信息99
4．5．2查看集群的YARN信息101
4．6在Hadoop集群中运行程序102
小结103
习题103
第5章HadoopHDFS命令104
5．1HDFS常用命令总览105
5．2创建与查看HDFS目录105
5．2．1创建HDFS目录105
5．2．2查看HDFS目录106
5．3本地计算机和HDFS之间的文件复制107
5．3．1从本地计算机复制文件到HDFS107
5．3．2将HDFS上的文件复制到本地计算机110
5．4复制与删除HDFS文件112
5．5查看HDFS文件内容113
小结114
习题114
第6章MapReduce编程入门115
6．1认识MapReduce116
6．1．1MapReduce的编程思想116
6．1．2MapReduce的运行环境118
6．2使用Eclipse创建MapReduce工程122
6．2．1下载与安装Eclipse122
6．2．2配置MapReduce环境127
6．3第一个MapReduce程序：WordCount131
6．3．1WordCount的设计思路131
6．3．2编写WordCount132
6．3．3分析WordCount程序140
6．3．4运行程序142
小结144
习题144
第7章Hive145
7．1Hive简介146
7．1．1什么是Hive146
7．1．2为什么使用Hive146
7．1．3Hive的体系结构146
7．1．4Hive与关系型数据库的区别147
7．2安装元数据库148
7．2．1下载和安装MySQL数据库148
7．2．2登录MySQL数据库153
7．2．3使用MySQL数据库153
7．3安装与配置Hive156
7．3．1准备工作156
7．3．2下载Hive156
7．3．3安装Hive157
7．3．4配置Hive158
7．3．5启动并验证Hive161
7．4数据类型和存储格式162
7．4．1基本数据类型162
7．4．2复杂数据类型162
7．4．3存储格式163
7．4．4数据格式163
7．5Hive中的数据定义164
7．5．1操作数据库164
7．5．2查看与创建数据表166
7．5．3Hive中其他的数据表169
7．5．4修改数据表170
7．5．5删除数据表171
7．6Hive中的数据操作171
7．6．1加载数据171
7．6．2插入数据174
7．6．3导出数据178
小结179
习题179
第8章Sqoop180
8．1安装并配置Sqoop181
8．1．1下载并安装Sqoop181
8．1．2配置Sqoop183
8．1．3验证Sqoop185
8．1．4测试Sqoop与MySQL的连接185
8．2Sqoop命令186
8．3Sqoop导入188
8．3．1使用Sqoop把MySQL数据导入HDFS189
8．3．2使用Sqoop把MySQL数据导入Hive191
8．3．3有选择地导入数据192
8．4Sqoop导出193
8．4．1使用Sqoop将Hadoop数据导出到MySQL194
8．4．2使用Sqoop将Hive数据导出到MySQL195
小结197
习题197
第9章HBase198
9．1ZooKeeper集群的安装与配置199
9．1．1ZooKeeper简介199
9．1．2ZooKeeper安装199
9．1．3配置ZooKeeper集群201
9．1．4启动ZooKeeper集群204
9．2HBase集群的安装与配置206
9．2．1下载并安装HBase206
9．2．2配置HBase207
9．2．3启动并验证HBase211
9．3HBase的基本应用212
9．3．1创建表212
9．3．2插入数据213
9．3．3扫描全表的数据213
9．3．4获取某一行的数据213
9．3．5删除表213
小结213
习题214
第10章Spark的介绍与安装215
10．1Spark概述216
10．1．1Spark系统架构216
10．1．2Spark运行流程217
10．2安装与配置Scala218
10．2．1下载Scala218
10．2．2安装Scala219
10．2．3启动与应用Scala220
10．3安装与配置Spark222
10．3．1安装模式222
10．3．2安装Spark222
10．3．3配置环境变量224
10．3．4启动并验证Spark226
10．4运行Spark程序227
小结228
习题228
第11章综合案例——网络爬虫大数据分析229
11．1网络爬虫概述230
11．1．1网络爬虫230
11．1．2网络爬虫——快手爬票230
11．1．3开发语言选择231
11．2搭建Python开发环境231
11．2．1开发环境概述231
11．2．2安装Python232
11．3搭建Qt环境235
11．3．1安装Qt235
11．3．2安装PyCharm开发工具237
11．4主窗体设计244
11．4．1Qt拖曳控件244
11．4．2代码调试细节248
11．5分析网页请求参数251
11．6下载站名文件253
11．7车票信息的请求与显示255
11．7．1发送与分析车票信息的查询请求255
11．7．2主窗体中显示查票信息258
11．8Hadoop中的网络爬虫261
小结262
习题262