大数据分析与应用基础

一本强调理论与实践结合的教材，重点讲解大数据分析的基础知识，体系清晰。配套了8个通俗易懂的实训案例，可以在相关页面的二维码直接下载，方便读者操作练习。

本书重点介绍大数据分析的主要算法及主流计算框架，强调理实一体化的教学模式和方法。在讲解各种计算分析方法的同时，本书对核心技术配以相应的实训项目或案例，真正训练学生解决大数据问题的实践能力。本书内容包括：大数据计算分析技术概述、大数据计算分析常用算法及场景、大数据离线计算分析技术、大数据流式计算分析技术、机器学习在大数据计算分析中的应用。最后本书还以进出口管理风险评估大数据平台设计与实现为例，设置了综合前述知识的实战项目。
本书可作为高等学校大数据、云计算、人工智能等相关专业教材，同时也适合希望深入了解大数据计算分析技术的开发人员学习使用。

兰晓红 重庆市人工智能学会智慧教育专委会秘书长，重庆师范大学副教授。研究方向：教育机器人、智慧教育、教育大数据等。 马燕 教授，博士，博士生导师，重庆师范大学智慧教育研究院院长。 主要研究方向：人工智能与教育、语义网、社会网络与计算、智慧教育与评价等。

第1章 大数据计算分析技术概述
1.1 大数据核心技术
1.1.1 分布式存储
1.1.2 分布式计算
1.2 大数据技术生态圈
1.3 数据分析与大数据分析
1.3.1 数据分析
1.3.2 大数据分析
1.3.3 大数据计算分析的价值
1.4 大数据计算框架
1.4.1 大数据计算框架分类
1.4.2 批处理框架
1.4.3 流式计算框架
1.4.4 内存计算框架
1.4.5 图计算框架
1.5 大数据计算分析平台
1.5.1 DANA Studio
1.5.2 MaxCompute
1.5.3 LeapHD
1.6 本章小结
1.7 课后作业
第2章 大数据计算分析常用算法及场景
2.1 分类
2.1.1 什么是分类
2.1.2 分类过程
2.1.3 典型分类算法
2.1.4 案例：海洋生物分类
2.2 聚类
2.2.1 什么是聚类
2.2.2 聚类过程
2.2.3 典型聚类算法
2.2.4 案例：鸢尾花分类
2.3 回归分析
2.3.1 什么是回归分析
2.3.2 回归分析分类
2.3.3 常用回归分析软件
2.3.4 案例：广告投入与产品销量预测
2.4 关联规则
2.4.1 什么是关联规则
2.4.2 关联规则挖掘过程
2.4.3 关联规则典型算法
2.4.4 案例：毒蘑菇的相似特征
2.5 Web数据挖掘
2.5.1 什么是Web数据挖掘
2.5.2 Web数据挖掘的类型及流程
2.5.3 典型Web数据挖掘技术
2.5.4 案例：支付中的交易欺诈侦测
2.6 本章小结
2.7 课后作业
第3章 大数据离线计算分析技术
3.1 MapReduce计算模型
3.1.1 并行计算
3.1.2 分布式计算
3.1.3 MapReduce计算框架
3.1.4 MapReduce键值对和输入输出
3.1.5 MapReduce工作流程
3.1.6 MapReduce应用编程
3.2 交互式计算模式
3.2.1 交互式数据处理
3.2.2 Hive在交互式计算中的应用
3.2.3 HBase在交互式计算中的应用
3.2.4 Spark SQL在交互式计算中的应用
3.2.5 Eagles在交互式计算中的应用
3.3 图并行计算框架
3.3.1 图并行计算
3.3.2 图存储模式
3.3.3 图计算框架
3.3 .d Spark Graphx框架及编程实例
3.4 大数据离线分析案例：Web日志数据分析
3.4.1 需求描述
3.4.2 数据来源
3.4.3 数据处理
3.4.4 效果呈现
3.5 本章小结
3.6 课后作业
第4章 大数据流式计算分析技术
4.1 大数据流式计算概述
4.1.1 流式计算
4.1.2 分布式流计算
4.2 Storm流式计算框架
4.2.1 Storm流计算概述
4.2.2 Storm流计算架构
4.2.3 Storm工作机制
4.2.4 Storm流计算编程案例
4.3 Spark streaming流计算框架
4.3.1 Spark关键组件
4.3.2 Spark Streaming数据流
4.3.3 Spark Strearning工作原理
4.3.4 Spark Streaming流计算编程模型
4.3.5 Spark streaming流计算编程案例
4.4 大数据内存计算框架
4.4.1 内存计算概述
4.4.2 内存计算中分布式缓存体系
4.4.3 内存数据库
4.4.4 Spark SQL在内存计算中的应用
4.5 大数据流式计算应用案例：Storm单词计数
4.5.1 功能描述
4.5.2 关键代码
4.5.3 RandomSentenceSpout的实现及生命周期
4.5.4 SplitSentenceBolt的实现及生命周期
4.5.5 WordCountBolt的实现及生命周期
4.6 本章小结
4.7 课后作业
第5章 机器学习在大数据计算分析中的应用
5.1 机器学习概述
5.1.1 机器学习的定义
5.1.2 大数据与机器学习
5.1.3 人工智能、机器学习及深度学习
5.1.4 机器学习的类型
5.2 Spark MLlib机器学习库
5.2.1 Spark MLBase分布式机器学习系统
5.2.2 Spark MLlib支持的机器学习算法
5.2.3 Spark MLlih与Spark MLPipeline
5.2.4 使用Spark MLlih实现K-means聚类分析
5.3 TensorFlow计算框架
5.3.1 TensorFlow概述
5.3.2 TensorFlow编程思想
5.3.3 TensorFlow架构
5.3.4 基于TensorFlow的机器学习应用实例
5.4 本章小结
5.5 课后作业
第6章 项目实战——进出口管理风险评估大数据平台设计与实现
6.1 项目背景
6.2 进出口管理风险评估大数据平台需求分析
6.2.1 平台功能需求
6.2.2 平台开发软件需求
6.2.3 平台硬件环境需求
6.2.4 平台数据需求
6.3 进出口管理风险评估大数据平台设计及实现
6.3.1 基于DANA 4.O的大数据开发流程
6.3.2 进出口管理风险评估大数据平台的系统架构
6.3.3 进出口管理风险评估大数据平台的数据采集
6.3.4 进出口管理风险评估大数据平台的数据存储
6.3.5 进出口管理风险评估大数据平台的数据分析
6.3.6 进出口管理风险评估大数据平台的实现效果
6.4 本章小结
6.5 课后作业
参考文献