HADOOP+SPARK大数据技术(微课版)

全书内容分为大数据系统基础、Hadoop技术、Spark技术和项目实战4部分。其中，Linux是学习大数据技术的基础，先从Linux入手，打下坚实的基础，之后才能更好地学习Hadoop和Spark。4部分内容分别介绍如下。     大数据系统基础篇通过大数据概述、Linux系统安装、Linux系统基础命令、Shell编程和MySQL数据操作，为以后编程奠定坚实的基础。     Hadoop技术篇以Hadoop生态圈为中心，详细介绍Hadoop高可用集群搭建、HDFS技术、MapReduce技术、Hive技术，为读者学习大数据开发技术提供便利，并以实用的方式简单介绍HBase、Sqoop、Flume工具的使用，使读者在精通一门技术的前提下，能扩展了解相关知识，真正成为一专多能的专业型人才。     Spark技术篇从Spark概述、Scala语言、环境搭建、RDD核心技术、Spark SQL和机器学习等多方面讲解Spark大数据的开发，从基础的Scala语言开始学习，并以Hadoop环境为基础搭建Spark大数据集群，从很基础、很常用、很容易理解的思路出发，帮助读者逐步掌握Spark大数据技术。     项目实战篇从真实项目“电力能源大数据分析”中抽取一部分业务作为实战解读，通过简洁的流程讲解，使读者了解大数据项目开发的整个过程。

第1篇 大数据系统基础
第1章 大数据概述
1.1 数据的产生与发展
1.2 大数据的基础知识
1.3 大数据架构
第2章 系统的安装与使用
2.1 系统安装
2.1.1 安装CentOS 6.x
2.1.2 安装步骤
2.2 基本命令
2.2.1 cd命令
2.2.2 打包和解压指令
2.2.3 其他常用命令
2.3 权限与目录
2.3.1 权限
2.3.2 目录
2.4 文件操作
2.4.1 文件与目录管理
2.4.2 用户和用户组管理
2.5 习题与思考
第3章 任务命令
3.1 脚本配置
3.1.1 Shell脚本
3.1.2 Shell变量
3.1.3 Shell传递参数
3.1.4 Shell数组
3.1.5 Shell运算符
3.1.6 Shell echo命令
3.1.7 Shell printf命令
3.1.8 Shell test命令
3.1.9 Shell流程控制
3.2 网络配置
3.3 习题与思考
第4章 数据库操作
4.1 数据库简介
4.1.1 MySQL数据库简介
4.1.2 安装MySQL
4.2 数据库基本操作
4.2.1 MySQL的DDL操作
4.2.2 MySQL的DML操作
4.3 数据库用户操作
4.3.1 创建用户
4.3.2 给用户授权
4.3.3 撤销授权
4.3.4 查看用户权限
4.3.5 删除用户
4.3.6 修改用户密码
4.4 数据库查询操作
4.5 习题与思考
第2篇 Hadoop技术
第5章 Hadoop开发环境
5.1 Hadoop生态圈工具
5.2 环境搭建
5.2.1 步骤1――虚拟机安装
5.2.2 步骤2――安装JDK和Hadoop
5.2.3 步骤3――复制虚拟机
5.2.4 步骤4――设置免密
5.2.5 步骤5――安装Zookeeper
5.2.6 步骤6――启动Hadoop集群
5.2.7 正常启动顺序
5.3 常见问题汇总
5.4 习题与思考
第6章 HDFS技术
6.1 HDFS架构
……
第7章 MapReduce技术
第8章 Hive数据仓库
第9章 HBase分布式数据库
第10章 Sqoop工具
第11章 Flume日志收集
第3篇 Spark技术
第12章 Spark概述
第13章 Scala语言
第14章 Spark高可用环境
第15章 RDD技术
第16章 Spark SQL
第17章 Spark Streaming
第18章 Spark机器学习
第4篇 项目实战
第19章 基于电力能源的大数据实战