大数据综合应用实践(新一代信息技术创新型教材)

本书系统介绍了大数据 综合应用实践的技术知识和 项目案例。全书共4章，内 容包括大数据综合应用概述 、基于Python+MySQL +Kettle的点评网数据采集 分析及可视化、基于Hive +MySQL+Spark的零售数据 分析及可视化、基于 Elasticsearch+Logstash +Kibana+Filebeat的日志收 集分析及可视化。第1章概 要介绍了大数据的技术和综 合应用，第2～4章以项目案 例为基础对大数据环境部署 、技术知识、上机实践操作 等进行了详细说明与分析。 读者可参照书中的项目环境 部署、项目技术知识、项目 实践详解，通过系统的项目 综合实践更好地学习大数据 的关键技术，提高大数据技 术的综合应用和实践能力。 本书配有微课视频、教学课 件、代码等教学资源。 本书可以作为高等院校 计算机、大数据、电子信息 、数学、网络空间安全等相 关学科专业的大数据课程教 材，也适合正在学习大数据 技术的人员作为实践教材。

杨美红，女，研究员，山东省计算中心主任、网络空间安全学院院长；山东省信息资源应用协会会长、山东计算机学会大数据与智能计算专业委员会副主任委员。先后主持或参与科技部中小企业基金、国家863项目、国家自然基金项目、山东省科技攻关、山东省自主创新工程专项、山东省电子发展基金等项目40余项，荣获山东省科技进步二等奖一项、三等奖三项。 陈静，副研究员，计算机应用技术博士，长期从事云计算、边缘计算、大数据等方面的研发工作。先后主持省部级项目3项，作为核心人员参与国家863计划、国家重点研发计划、省重点研发计划、省自主创新专项、省信息产业发展专项等10余项；获得山东省科技进步一等奖1项、二等奖2项，省高等学校科学技术三等奖1项，授权发明专利3项。

第1章 大数据综合应用概述 1.1 大数据技术概述 1.1.1 大数据基本概念 1.1.2 大数据技术的发展历程 1.1.3 大数据的技术框架 1.1.4 大数据生态圈及处理工具 1.1.5 大数据技术的发展趋势 1.2 大数据综合应用概述 1.2.1 大数据产业 1.2.2 大数据的应用领域 1.2.3 大数据的典型应用及特征 1.2.4 大数据应用前景与展望 1.3 本章小结 第2章 基于Python+MySQL+Kettle的点评网数据采集分析及可视化 2.1 项目概述 2.2 项目环境部署 2.2.1 模拟点评网站的部署 2.2.2 项目实践环境部署 2.3 项目技术知识 2.3.1 网页解析 2.3.2 网络爬虫 2.3.3 数据清洗 2.3.4 数据统计分析与可视化 2.4 项目实践 2.4.1 点评网网页分析 2.4.2 Python爬取点评网数据 2.4.3 Kettle数据清洗 2.4.4 统计分析与PyEcharts可视化 2.5 项目小结 2.6 项目拓展训练 第3章 基于Hive+MysQL+Spark的零售数据分析及可视化 3.1 项目概述 3.2 项目环境部署 3.2.1 安装Java 3.2.2 安装Hadoop 3.2.3 安装MySQL 3.2.4 安装Hive 3.2.5 安装Sqoop 3.2.6 安装Spark 3.2.7 利用Echarts可视化 3.3 项目技术知识 3.3.1 Spark基本原理 3.3.2 Hive数据仓库 3.3.3 PySpark简介 3.3.4 Spark SQL概述 3.3.5 MLlib和关联分析 3.4 项目实践 3.4.1 基于Hive+MySQL+Sqoop的数据存储与传输 3.4.2 基于零售交易数据的Spark数据处理与分析 3.4.3 可视化展示