Hadoop大数据处理与分析教程（慕课版）

第1章绪论、第2章Linux操作系统的安装、第3章Hadoop的伪分布式安装、第4章Hadoop集群的搭建及配置、第5章Hadoop HDFS命令、第6章MapReduce编程入门、第7章Hive:SQL on Hadoop、第8章Sqoop:SQL to Hadoop、第9章HBase：HadoopDatabase、第10章Spark的介绍与安装、第11章综合案例——网络爬虫大数据分析

已经在我社出版多本程序设计类书籍,包括“技术方案宝典” “开发技术大全”“自学手册” “参考大全”等多个系列，大都取得比较好的市场反响。

第1章 绪论 1 1.1　认识大数据　2 1.1.1　大数据的定义　2 1.1.2　大数据的特点　2 1.1.3　大数据行业应用　3 1.1.4　Hadoop与大数据　5 1.1.5　其他大数据处理平台　5 1.1.6　大数据人才　7 1.2　什么是Hadoop　8 1.2.1　Hadoop简介　8 1.2.2　Hadoop的发展历史　8 1.2.3　Hadoop的特点　9 1.3　Hadoop核心　10 1.3.1　分布式文件系统—HDFS　11 1.3.2　分布式计算框架—MapReduce　13 1.4　Hadoop常用组件　14 1.5　Hadoop在国内外的应用情况　16 小结　16 习题　16 第2章　Linux操作系统的安装　17 2.1　VirtualBox虚拟机的安装　18 2.1.1　VirtualBox的下载和安装　18 2.1.2　设置VirtualBox存储文件夹　22 2.1.3　在VirtualBox中创建虚拟机　24 2.2　Linux操作系统简介　28 2.2.1　概述　28 2.2.2　特点　28 2.2.3　Linux操作系统的组成　29 2.2.4　Linux基本命令　31 2.2.5　Linux操作系统的版本　34 2.3　Linux操作系统（Ubuntu）的安装　34 2.3.1　Linux操作系统（Ubuntu）的 　下载　34 2.3.2　安装Ubuntu　36 2.3.3　启动Ubuntu　41 2.3.4　设置终端　42 2.3.5　设置共享剪贴板　45 2.3.6　设置共享文件夹　49 小结　52 习题　52 第3章　Hadoop的伪分布式 安装　53 3.1　JDK的检查与安装　54 3.1.1　检查是否安装JDK　54 3.1.2　安装JDK　54 3.2　配置SSH无密码登录　58 3.3　Hadoop的下载与安装　61 3.3.1　Hadoop的安装模式　61 3.3.2　Hadoop的下载　62 3.3.3　Hadoop的安装　63 3.3.4　配置Hadoop前准备　65 3.4　Hadoop环境配置　66 3.4.1　设置Hadoop环境变量　66 3.4.2　修改Hadoop配置文件　68 3.4.3　创建并格式化文件系统　73 3.5　启动Hadoop　73 3.6　查看HDFS Web页面　75 3.7　查看YARN Web页面　76 小结　77 习题　77 第4章　Hadoop集群的搭建及 配置　78 4.1　Hadoop集群中节点角色　79 4.2　设置集群前的准备工作　80 4.2.1　集群中节点的规划　80 4.2.2　设置网络　81 4.3　设置服务器　83 4.3.1　设置Master服务器　83 4.3.2　复制虚拟机　89 4.3.3　设置Slave服务器　92 4.3.4　设置Master服务器到Slave服务器的SSH无密码登　95 4.3.5　格式化文件系统　96 4.4　启动和关闭Hadoop集群　97 4.4.1　启动和关闭Hadoop集群　97 4.4.2　验证Hadoop集群是否启动成功　98 4.5　查看Hadoop集群的基本信息　99 4.5.1　查看集群的HDFS信息　99 4.5.2　查看集群的YARN信息　101 4.6　在Hadoop集群中运行程序　102 小结　103 习题　103 第5章　Hadoop HDFS命令　104 5.1　HDFS常用命令总览　105 5.2　创建与查看HDFS目录　105 5.2.1　创建HDFS目录　105 5.2.2　查看HDFS目录　106 5.3　本地计算机和HDFS之间的文件 　复制　107 5.3.1　从本地计算机复制文件到 　HDFS　107 5.3.2　将HDFS上的文件复制到本地 　计算机　110 5.4　复制与删除HDFS文件　112 5.5　查看HDFS文件内容　113 小结　114 习题　114 第6章　MapReduce编程 入门　115 6.1　认识MapReduce　116 6.1.1　MapReduce的编程思想　116 6.1.2　MapReduce的运行环境　118 6.2　使用Eclipse创建MapReduce工程　122 6.2.1　下载与安装Eclipse　122 6.2.2　配置MapReduce环境　127 6.3　第一个MapReduce程序： 　WordCount　131 6.3.1　WordCount的设计思路　131 6.3.2　编写WordCount　132 6.3.3　分析WordCount程序　140 6.3.4　运行程序　142 小结　144 习题　144 第7章　Hive　145 7.1　Hive简介　146 7.1.1　什么是Hive　146 7.1.2　为什么使用Hive　146 7.1.3　Hive的体系结构　146 7.1.4　Hive与关系型数据库的区别　147 7.2　安装元数据库　148 7.2.1　下载和安装MySQL数据库　148 7.2.2　登录MySQL数据库　153 7.2.3　使用MySQL数据库　153 7.3　安装与配置Hive　156 7.3.1　准备工作　156 7.3.2　下载Hive　156 7.3.3　安装Hive　157 7.3.4　配置Hive　158 7.3.5　启动并验证Hive　161 7.4　数据类型和存储格式　162 7.4.1　基本数据类型　162 7.4.2　复杂数据类型　162 7.4.3　存储格式　163 7.4.4　数据格式　163 7.5　Hive中的数据定义　164 7.5.1　操作数据库　164 7.5.2　查看与创建数据表　166 7.5.3　Hive中其他的数据表　169 7.5.4　修改数据表　170 7.5.5　删除数据表　171 7.6　Hive中的数据操作　171 7.6.1　加载数据　171 7.6.2　插入数据　174 7.6.3　导出数据　178 小结　179 习题　179 第8章　Sqoop　180 8.1　安装并配置Sqoop　181 8.1.1　下载并安装Sqoop　181 8.1.2　配置Sqoop　183 8.1.3　验证Sqoop　185 8.1.4　测试Sqoop与MySQL的连接　185 8.2　Sqoop命令　186 8.3　Sqoop导入　188 8.3.1　使用Sqoop把MySQL数据导入HDFS　189 8.3.2　使用Sqoop把MySQL数据导入Hive　191 8.3.3　有选择地导入数据　192 8.4　Sqoop导出　193 8.4.1　使用Sqoop将Hadoop数据导出到MySQL　194 8.4.2　使用Sqoop将Hive数据导出到MySQL　195 小结　197 习题　197 第9章　HBase　198 9.1　ZooKeeper集群的安装与配置　199 9.1.1　ZooKeeper简介　199 9.1.2　ZooKeeper安装　199 9.1.3　配置ZooKeeper集群　201 9.1.4　启动ZooKeeper集群　204 9.2　HBase集群的安装与配置　206 9.2.1　下载并安装HBase　206 9.2.2　配置HBase　207 9.2.3　启动并验证HBase　211 9.3　HBase的基本应用　212 9.3.1　创建表　212 9.3.2　插入数据　213 9.3.3　扫描全表的数据　213 9.3.4　获取某一行的数据　213 9.3.5　删除表　213 小结　213 习题　214 第10章　Spark的介绍与 安装　215 10.1　Spark概述　216 10.1.1　Spark系统架构　216 10.1.2　Spark运行流程　217 10.2　安装与配置Scala　218 10.2.1　下载Scala　218 10.2.2　安装Scala　219 10.2.3　启动与应用Scala　220 10.3　安装与配置Spark　222 10.3.1　安装模式　222 10.3.2　安装Spark　222 10.3.3　配置环境变量　224 10.3.4　启动并验证Spark　226 10.4　运行Spark程序　227 小结　228 习题　228 第11章　综合案例—网络爬虫大数据分析　229 11.1　网络爬虫概述　230 11.1.1　网络爬虫　230 11.1.2　网络爬虫—快手爬票　230 11.1.3　开发语言选择　231 11.2　搭建Python开发环境　231 11.2.1　开发环境概述　231 11.2.2　安装Python　232 11.3　搭建Qt环境　235 11.3.1　安装Qt　235 11.3.2　安装PyCharm开发工具　237 　11.4 主窗体设计　244 11.4.1　Qt拖曳控件　244 11.4.2　代码调试细节　248 11.5　分析网页请求参数　251 11.6　下载站名文件　253 11.7　车票信息的请求与显示　255 11.7.1　发送与分析车票信息的查询 　请求　255 11.7.2　主窗体中显示查票信息　258 11.8　Hadoop中的网络爬虫　261 小结　262 习题　262