大数据处理与分析

Python是大数据分析中常用的工具，本书以Python3结合第三方开源工具进行大数据处理与分析，实现了对数据的预处理、可视化和统计分析。
本书共11章，首先给出大数据技术的简介和常用分析工具。然后，介绍了基于Python3实现的大数据预处理、可视化和统计描述，并给出了大数据的统计分析方法，包括假设检验、均值检验和时间序列预测等。详细阐述了大数据的经典分析方法，包括聚类分析、判别分析、主成分分析、因子分析方法。最后结合机器学习主流方法，给出了大数据的挖掘分析方法，如回归分析、神经网络、关联规则、决策树等。本书使用Python语言，所讲的内容可操作性强，并配套了相关的实验数据和代码，方便读者动手练习。
本书适合对大数据和统计学感兴趣的读者，特别是需要进行大数据处理和分析的学生和研究人员参考使用。

1 大数据概论
1.1 大数据技术简介
1.2 数据处理与分析的阶段划分
1.3 大数据分析工具
1.4 本章小结
本章习题
2 数据预处理方法
2.1 数据预处理相关概念
2.2 变量类型与数据类型
2.3 数据清洗
2.4 数据集成与数据规约
2.5 数据的离散化与概念分层
2.6 本章小结
本章习题
3 数据的统计描述
3.1 数据的统计建模方法
3.2 数据的频数描述方法
3.3 数据的描述性统计方法
3.4 数据的探索性分析方法
3.5 本章小结
本章习题
4 数据的可视化构图方法
4.1 数据可视化的类型
4.2 可视化图的类别
4.3 可视化工具
4.4 基本图表
4.5 本章小结
本章习题
5 数据的假设检验
5.1 假设检验统计学模型
5.2 单个总体参数的假设检验
5.3 两个总体参数的假设检验
5.4 本章小结
本章习题
6 数据的均值检验方法
6.1 均值检验的统计学模型
6.2 两组之间的比较
6.3 多组之间的比较
6.4 本章小结
本章习题
7 数据的随机化模拟与仿真
7.1 统计的重现性现象
7.2 真随机与伪随机
7.3 随机化过程仿真
7.4 随机化分组与抽样
7.5 随机数据的性质分析与程序验证
7.6 本章小结
本章习题
8 数据的时间序列预测
8.1 时间序列的成分和预测方法
8.2 平稳序列和趋势预测
8.3 多成分序列预测
8.4 Box-Jenkins方法：ARIMA模型
8.5 本章小结
本章习题
9 数据的聚类与判别方法
9.1 数据聚类分析的统计学模型
9.2 数据判别分析的统计学模型
9.3 本章小结
本章习题
10 数据的主成分分析与因子分析
10.1 统计学模型
10.2 主成分分析方法
10.3 因子分析方法
10.4 本章小结
本章习题
11 数据的挖掘分析与机器学习方法
11.1 数据挖掘方法的主要分类
11.2 无监督学习与监督学习
11.3 数据机器学习的主要方法与案例分析
11.4 案例应用与分析
11.5 优化技巧与解决方案升级
11.6 保存和加载训练后的模型
11.7 本章小结
本章习题
参考文献