大数据技术实训教程--预处理离线分析和实时计算

本书是职业院校大数据 相关专业的实训配套教材， 也是“1+X”大数据应用开发 （Java）职业技能等级证书 考试辅助教材。全书共4章 ，包括Web服务器日志分析 项目、招聘网站数据分析项 目、电商网站实时数据分析 项目、金融大数据分析项目 。本书内容涵盖了大数据技 术的完整流程，包括数据采 集、数据预处理、数据分析 、数据挖掘、数据存储、数 据可视化等，既有离线处理 ，又有实时处理。同时涉及 4个不同业务背景的29个项 目任务，包括17个职业院校 技能大赛项目任务，可帮助 读者切实掌握大数据预处理 、离线分析和实时计算的实 践技能。 本书可作为职业院校、 应用型本科院校计算机应用 技术、软件技术、软件工程 、网络工程和大数据技术等 计算机相关专业的教材，还 可供从事计算机相关工作的 技术人员学习参考。

第1章 Web服务器日志分析项目 1.1 任务一：需求分析 1.2 任务二：技术方案设计 1.3 任务三：使用Flume采集日志数据 1.4 任务四：使用MapReduce清洗数据 1.5 任务五：使用Hive分析数据 1.6 任务六：使用Sqoop迁移数据 1.7 任务七：Java+ECharts数据可视化 1.8 答疑解惑 1.9 拓展练习 第2章 招聘网站数据分析项目 2.1 大赛简介 2.2 任务一：需求分析 2.3 任务二：项目流程 2.4 任务三：使用Python“爬取”招聘网站数据 2.5 任务四：使用MapReduce预处理数据 2.6 任务五：使用Hive分析数据 2.7 任务六：使用Sqoop导出数据 2.8 任务七：Flask+ECharts数据可视化 2.9 任务八：编写分析报告 2.10 答疑解惑 2.11 拓展练习 第3章 电商网站实时数据分析项目 3.1 任务一：需求分析 3.2 任务二：项目方案设计 3.3 任务三：使用Flume+Kafka实时收集数据 3.4 任务四：使用Spark实时计算数据 3.5 任务五：Java+ECharts数据可视化 3.6 答疑解惑 3.7 拓展练习 第4章 金融大数据分析项目 4.1 大赛简介 4.2 任务一：需求分析 4.3 任务二：项目流程 4.4 任务三：使用Spark抽取离线数据 4.5 任务四：使用Spark统计离线数据 4.6 任务五：使用Flume+Kafka实时采集数据 4.7 任务六：使用Flink实时计算数据 4.8 任务七：Vue.js+Java+ECharts数据可视化 4.9 任务八：使用Spark ML数据挖掘 4.10 任务九：编写分析报告 4.11 答疑解惑 4.12 拓展练习 附录 附录1 Hadoop安装署和配置 附录2 掌握HDFS Shell作 附录3 通过WordCount熟悉MapReduce 附录4 深入理解MapReduce 附录5 Flume安装署和配置 附录6 Hive安装署和配置