大数据技术导论 第2版

本书以导思维为主线，让读者从大数据思维中理解大数据生态。 融入了一些课程思政元素。针对大数据技术导论课程具有用数据讲故事的特点，讲好与思政有关的数据故事，既能学习专业知识，又能将思政元素融入课程中，让读者潜移默化接受家国情怀的熏陶。

本书以面向应用、面向实战为指导思想，紧扣企业技术人才培养的特点，在知识点讲解和实验中避免复杂的理论，使读者能够快速上手，感受大数据处理的魅力，以激发读者的学习兴趣。本书覆盖了大数据生命周期的主要技术要点。全书共8章，第1章介绍了大数据的产生、特点、价值、产业、思维等，第2章介绍了大数据生态，第3～7章按照大数据的生命周期，分别介绍了大数据采集与预处理、大数据管理、数据可视化、大数据分析、大数据应用的基本原理和方法，第8章介绍了大数据安全面临的挑战。 本书可作为本科、高职院校大数据技术或数据科学及相关课程的参考书或教材，也可供数据科学相关技术人员阅读。

第2版前言
第1版前言
第1章 绪论
1.1 认识大数据
1.1.1 大数据产生的历史必然
1.1.2 大数据概念和特征
1.1.3 大数据生命周期
1.1.4 大数据、物联网与云计算之间的关系
1.2 大数据时代带来的变化
1.2.1 决策方式
1.2.2 计算方式
1.2.3 思维方式
1.3 大数据价值
1.3.1 增加额外收入
1.3.2 减少支出
1.3.3 降低风险
1.3.4 参照系
1.4 大数据产业及岗位
1.4.1 大数据产业链条
1.4.2 大数据产业分析
1.4.3 大数据岗位
1.5 虚拟机
1.5.1 安装虚拟机
1.5.2 安装CentOS
1.5.3 安装虚拟机常见问题
1.5.4 大数据实验平台概述
1.6 Linux操作系统
1.6.1 Linux版本
1.6.2 Linux 系统目录结构
1.6.3 文本编辑器vi
1.6.4 文件权限解读
1.6.5 Linux系统常用命令
习题
实验：Linux实验
第2章 大数据生态
2.1 认识Hadoop
2.2 部署Hadoop
2.2.1 Hadoop安装模式
2.2.2 单节点伪分布模式安装
2.2.3 多节点伪分布模式安装
2.3 HDFS
2.3.1 HDFS体系结构
2.3.2 HDFS存储原理
2.3.3 HDFS实战
2.4 MapReduce
2.4.1 MapReduce逻辑结构
2.4.2 MapReduce实战
2.5 Zookeeper
2.5.1 Zookeeper集群
2.5.2 部署Zookeeper
习题
实验：HDFS操作
第3章 大数据采集与预处理
3.1 数据
3.1.1 数据是什么
3.1.2 数据分类
3.1.3 度量和维度
3.2 数据采集
3.2.1 数据采集概述
3.2.2 数据采集工具
3.3 日志采集组件Flume
3.3.1 Flume结构
3.3.2 Flume部署
3.3.3 Flume实战
3.4 数据清洗
3.4.1 缺失值处理
3.4.2 异常值处理
3.4.3 数据清洗实战
3.5 数据变换
3.5.1 规范化
3.5.2 数据透视表
3.5.3 列联表
3.5.4 聚合表
3.5.5 特征编码
习题
第4章 大数据管理
4.1 数据管理概述
4.2 大数据管理NoSQL
4.2.1 NoSQL概述
4.2.2 NoSQL分类及主要产品
4.3 列式数据库HBase
4.3.1 HBase模型
4.3.2 HBase系统架构
4.3.3 HBase应用场景
4.4 HBase实战
4.4.1 HBase部署
4.4.2 HBase Shell基本操作
4.4.3 HBase Shell应用案例
习题
实验：HBase基本操作
第5章 数据可视化
5.1 数据可视化概述
5.2 常用图形
5.3 可视化设计\
5.3.1 数据可视化图形选择建议
5.3.2 用数据讲故事
5.4 数据可视化工具
5.4.1 FineReport
5.4.2 ECharts
5.4.3 Tableau
习题
第6章 大数据分析
6.1 大数据分析概述
6.1.1 数据分析概念
6.1.2 数据分析流程
6.1.3 数据分析师的基本技能和素养
6.2 业务理解
6.2.1 业务理解概述
6.2.2 数据业务化
6.3 数据认知
6.3.1 描述性分析
6.3.2 对比分析
6.3.3 细分分析
6.3.4 交叉分析
6.3.5 相关分析
6.4 分析指标设计
6.4.1 设计指标技巧
6.4.2 如何设计指标
6.5 数据建模
6.6 内存计算引擎Spark
6.6.1 Spark概述
6.6.2 Spark结构
6.6.3 Spark部署
6.6.4 Spark实战
6.7 数据仓库Hive
6.7.1 数据仓库概述
6.7.2 Hive设计特点
6.7.3 Hive系统架构
6.7.4 Hive部署
6.7.5 Hive实战
习题
实验：Hive实验
第7章 大数据应用
7.1 零售业大数据
7.1.1 市场营销
7.1.2 商品管理
7.1.3 运营管理
7.1.4 供应链管理
7.1.5 商业模式
7.2 交通大数据
7.2.1 道路运输安全事故预警
7.2.2 城市道路交通信号灯智能调时
7.2.3 绘制实时路况信息图
7.2.4 停车管理
7.3 医疗大数据
7.3.1 大数据电子病历
7.3.2 大数据与流行病防控
7.3.3 基因测序—精准治癌正在成为现实
7.4 农业大数据
7.4.1 农业大数据构成
7.4.2 农业大数据应用
7.4.3 智慧畜牧业
7.4.4 水产养殖环境监测
7.4.5 食品溯源
7.5 环保大数据
7.5.1 多维度的环保数据整合
7.5.2 环保数据服务接口
7.5.3 环保数据可视化
7.6 教育大数据
7.6.1 教育大数据特点
7.6.2 教育大数据作用
7.6.3 大数据应用于教育行业十大案例
……