大数据分析及应用项目教程(SPARK SQL) 微课版

本书以项目任务为载体串联知识与技能，介绍基于Spark SQL技术的大数据分析方法，培养学习者使用Spark SQL技术解决实际数据分析问题的能力，主要内容有大数据分析概述、实践环境准备、学生信息处理分析、房产大数据分析与探索、电商大数据分析与探索、Zepplin数据可视化。在实现任务的过程中详细阐述了Scala语言基础、Spark SQL编程分析、Spark SQL数据分析与探索、数据可视化等知识。本书适合作为高等职业院校计算机、大数据、人工智能及相关专业的教材或参考书，也可以作为数据分析人员的参考书。

第1章大数据分析概述.1
任务1.1关于大数据分析.1
情境导入.1
学习目标和要求.1
1.1.1什么是大数据分析.2
1.1.2大数据分析工具.5
1.1.3大数据分析可视化.8
任务1.2认识Spark SQL.8
情境导入.8
学习目标和要求.8
1.2.1Spark SQL的背景简介.9
1.2.2Spark SQL的运行原理.10
脑图小结.14
章节练习.16
第2章实践环境准备.17
任务2.1Hadoop集群环境搭建.17
情境导入.17
学习目标和要求.18
2.1.1环境准备.18
2.1.2安装Hadoop.35
2.1.3启动Hadoop集群.45
2.1.4运行经典案例wordcount.48
任务2.2Spark集群部署与使用.50
情境导入.50
学习目标和要求.50
2.2.1安装Spark.50
2.2.2启动Spark.54
2.2.3Spark集群测试.56
任务2.3安装Scala.60
情境导入.60
学习目标和要求.60
2.3.1下载Scala安装包.61
2.3.2Scala安装配置.61
脑图小结.62
章节练习.63
第3章学生信息处理分析.65
任务3.1班级基本情况分析.66
情境导入.66
学习目标和要求.66
3.1.1学生所属班级和男女生数量.67
3.1.2以班级为单位整理学生信息.84
任务3.2学生基本情况分析.96
情境导入.96
学习目标和要求.96
3.2.1学生特长情况分析.96
3.2.2学生成绩情况分析.102
脑图小结.105
章节练习.106
第4章房产大数据分析与探索.108
任务4.1某房产公司销售人员业绩分析.108
情境导入.108
学习目标和要求.110
4.1.1数据集处理.110
4.1.2数据操作分析.116
任务4.2某城市近年房产销售状况分析.131
情境导入.131
学习目标和要求.132
4.2.1数据准备.132
4.2.2数据探索与分析.134
4.2.3总结分析.139
脑图小结.139
章节练习.140
第5章电商大数据分析与探索.141
任务5.1“女装电子商务评论”数据分析.141
情境导入.141
学习目标和要求.142
5.1.1数据准备.142
5.1.2数据清洗.152
5.1.3数据转换.157
5.1.4数据分析.162
5.1.5数据输出.171
任务5.2“在线销售订单”数据分析.173
情境导入.173
学习目标和要求.174
5.2.1数据查询操作.174
5.2.2数据分析探索.184
脑图小结.191
章节练习.192
第6章Zeppelin数据可视化.193
任务6.1Zeppelin安装与部署.193
情境导入.193
学习目标和要求.193
6.1.1下载安装包.194
6.1.2安装配置.195
6.1.3测试运行Zeppelin.199
任务6.2“女装电子商务评论”数据可视化.203
情境导入.203
学习目标和要求.204
6.2.1加载数据注册视图.204
6.2.2执行SQL数据可视化.208
任务6.3“在线销售订单”数据可视化.212
情境导入.212
学习目标和要求.213
执行Spark SQL数据可视化.213
脑图小结.216
章节练习.216