PYTHON数据分析、挖掘与可视化从入门到精通

（1）理论讲解与实践结合。每个理论都有对应的实践代码讲解，读者参考源代码，完成实例，就可以看到实验效果。 （2）知识教学与课后练习。大部分章节末尾都配备思考与练习题，旨在帮助读者巩固所学知识，并达到学以致用的目的。 （3）综合实战，学以致用。通过最后两章完整案例的学习，可以帮助读者针对特定场景快速设计数据分析与挖掘的方案。 （4）配套资源，轻松学会。赠送书中同步实例的相关源代码文件+重点知识的教学视频+制作精美的PPT课件。

笔者根据自己多年的数据分析与挖掘经验，从零基础读者的角度，详尽地介绍了Python数据分析与挖掘的基础知识及大量的实战案例。 全书分为4篇，第1篇是基础入门篇，主要介绍数据分析与挖掘的基本概念及Python语言的数据分析基础；第2篇是数据分析篇，主要介绍常用的数据分析方法；第3篇是数据挖掘篇，主要介绍常用的数据挖掘方法；第4篇是实战应用篇，介绍两个完整的数据分析与挖掘案例，让读者了解如何系统地应用前面学到的各种方法解决实际问题。对于书中的大部分章节，笔者还结合实际工作及面试经验，精心配备了大量高质量的练习题，供读者边学边练，以便更好地掌握本书内容。 本书配备所有案例的源码，适合有一定数学基础的读者使用，但不要求读者具备编程基础，适合刚入行的数据分析人员或从事与数据相关工作、对数据感兴趣的人员，也适合从事其他岗位但想掌握一定的数据分析能力的职场人员，还可以作为大中专院校相关专业的教学参考用书。

熊熙 ---------------------------- 熊熙，博士，成都信息工程大学网络空间安全学院副教授，硕士研究生导师，成都电子行业新经济产业专家，CCF会员，CCF计算机应用专委会执行委员。曾在大唐移动通信设备有限公司担任高级软件工程师，研究方向包括数据挖掘与分析、自然语言处理与知识图谱、信息抽取与推荐算法、工业互联网等。主持和主研guojia级和省部级以上项目8项。 张雪莲 ---------------------------- 张雪莲，硕士，四川大学锦江学院讲师，大学计算机基础教研室主任助理，CCF会员。多年来一直从事软件工程相关课程的教学工作，具有丰富的实践教学经验。

第1篇  基础入门篇 第1章 从零开始：初识数据分析与挖掘 1.1 什么是数据分析 3 1.1.1  与数据相关的概念 3 1.1.2  什么是大数据 3 1.1.3  数据分析工具 4 1.1.4  数据分析技术的发展 7 1.2 什么是数据挖掘 8 1.2.1  数据挖掘相关概念 8 1.2.2  数据挖掘起源 9 1.2.3  数据挖掘要解决的问题 10 1.2.4  数据挖掘任务 10 1.3 数据分析与挖掘的应用领域 11 1.4 用Python进行数据分析与挖掘 12 1.4.1  Python语言概述 12 1.4.2  Python的优点 13 1.4.3  认识Python常用库 14 1.5 本章小结 15 1.6 思考与练习 15 第2章 Python数据分析基础 2.1 搭建Python开发环境 17 2.1.1  安装Python 17 2.1.2  安装PyCharm 18 2.1.3  安装Anaconda 19 2.1.4  安装与使用Jupyter 20 2.2 Python基础 21 2.2.1  Python基础语法 21 2.2.2  Python基本数据类型 24 2.2.3  Python控制流与文件操作 31 2.2.4  Python函数与模块 39 2.2.5  Python面向对象程序设计 44 2.3 本章小结 52 2.4 思考与练习 52 第3章 Python数据分析相关库应用 3.1 NumPy 54 3.1.1  初识NumPy 54 3.1.2  创建数组 54 3.1.3  数组的基本操作 58 3.1.4  NumPy矩阵的基本操作 63 3.2 SciPy 66 3.2.1  初识SciPy 66 3.2.2  统计子模块scipy.stats 66 3.2.3  优化子模块scipy.optimize 68 3.2.4  插值子模块scipy.interpolate 69 3.3 Pandas 70 3.3.1  初识Pandas 70 3.3.2  Pandas的数据结构 70 3.3.3  Pandas对象的基本操作 73 3.3.4  基本统计分析 80 3.4 Scikit-learn 82 3.4.1  初识Scikit-learn 82 3.4.2  线性回归模型 83 3.4.3  支持向量机 85 3.4.4  聚类 87 3.5 其他常用模块 89 3.6 本章小结 90 3.7 思考与练习 91 第2篇  数据分析篇 第4章 数据的预处理 4.1 数据获取 94 4.1.1  爬虫概述 94 4.1.2  爬虫常用库和框架 95 4.1.3  数据获取实践 100 4.2 文件与数据存储 104 4.2.1  概述 104 4.2.2  CSV文件 105 4.2.3  JSON文件 107 4.2.4  XLSL文件 108 4.2.5  SQL数据库文件 110 4.3 数据清洗 111 4.3.1  编码 112 4.3.2  缺失值的检测与处理 113 4.3.3  去除异常值 116 4.3.4  去除重复值和冗余信息 118 4.4 本章小结 120 4.5 思考与练习 120 第5章 数据的分析方法 5.1 分布分析 123 5.1.1  分布分析的概念 123 5.1.2  分布分析的实现 123 5.2 对比分析 128 5.2.1  对比分析的概念 128 5.2.2  对比分析的比较标准 129 5.2.3  对比分析的实现 131 5.3 统计量分析 133 5.3.1  统计量分析的概念 133 5.3.2  统计量分析的实现 133 5.4 相关性分析 137 5.4.1  相关性分析的概念 137 5.4.2  相关性分析的作用 138 5.4.3  相关性分析的实现 138 5.5 帕累托分析 141 5.5.1  帕累托分析的概念 141 5.5.2  帕累托分析的实现 142 5.6 正态分布分析 143 5.6.1  正态分布分析的概念 144 5.6.2  正态分布分析的实现 144 5.7 本章小结 150 5.8 思考与练习 150 第6章 数据可视化工具的应用 6.1 数据可视化工具——Matplotlib 153 6.1.1  安装Matplotlib模块 153 6.1.2  绘制基础图形 154 6.1.3  图形的设置 163 6.1.4  绘制多个子图 168 6.2 数据可视化工具——Seaborn 169 6.2.1  Seaborn库简介 170 6.2.2  Seaborn常用统计图 170 6.3 本章小结 173 6.4 思考与练习 173 第3篇  数据挖掘篇 第7章 数据挖掘之线性回归 7.1 线性回归概述 177 7.2 一元线性回归 177 7.2.1  一元线性回归原理分析 178 7.2.2  一元线性回归代码实现 178 7.2.3  线性回归方法总结 183 7.3 多元线性回归 183 7.3.1  多元线性回归原理分析 183 7.3.2  多元线性回归代码实现 184 7.4 线性回归模型的评估与检验 187 7.4.1  拟合优度检验（R2评估） 187 7.4.2  显著性检验（F检验） 188 7.4.3  回归参数显著性检验（T检验） 194 7.5 本章小结 196 7.6 思考与练习 196 第8章 数据挖掘之分类模型 8.1 逻辑回归模型 199 8.1.1  逻辑回归模型的原理 199 8.1.2  分类模型评估 200 8.1.3  逻辑回归模型实现二分类 206 8.2 决策树和随机森林算法 210 8.2.1  决策树的工作原理 210 8.2.2  特征选择 211 8.2.3  决策树的生成 213 8.2.4  决策树的剪枝 217 8.2.5  随机森林算法 223 8.3 KNN算法 225 8.3.1  KNN算法的思想 225 8.3.2  相似性的度量方法 225 8.3.3  KNN算法的性能 226 8.3.4  KNN算法的实现 227 8.4 本章小结 230 8.5 思考与练习 231 第9章 数据挖掘之关联分析 9.1 关联分析概述 235 9.1.1  关联分析的基本概念 235 9.1.2  常见的关联分析算法 236 9.2 Apriori关联分析算法 237 9.2.1  Apriori算法原理 237 9.2.2  Apriori算法挖掘频繁项集 238 9.2.3  从频繁项集中挖掘关联规则 238 9.2.4  基于Python实现Apriori算法 239 9.2.5  Apriori算法总结 243 9.3 FP-growth关联分析算法 244 9.3.1  构建FP树 244 9.3.2  从一棵FP树中挖掘频繁项集 246 9.3.3  FP-growth算法实例 248 9.3.4  FP-growth算法总结 252 9.4 本章小结 253 9.5 思考与练习 253 第10章 数据挖掘之聚类分析 10.1 聚类分析概述 255 10.1.1  聚类分析的概念 255 10.1.2  聚类分析的方法 255 10.1.3  聚类结果性能评估指标 256 10.2 质心聚类——K-Means算法 257 10.2.1  K-Means算法的原理 257 10.2.2  Python实现K-Means算法 260 10.3 密度聚类——DBSCAN算法 263 10.3.1  DBSCAN算法的原理 263 10.3.2  Python实现DBSCAN算法 265 10.4 层次聚类——AGNES算法 267 10.4.1  AGNES算法的原理 268 10.4.2  Python实现AGNES算法 268 10.5 本章小结 270 10.6 思考与练习 270 第4篇  实战应用篇 第11章 实战案例：房价评估数据分析与挖掘 11.1 加载数据集 274 11.2 数据分析 274 11.3 数据可视化 275 11.4 数据预处理 277 11.5 拆分数据集 279 11.6 建立线性回归模型 282 11.7 建立决策树模型 291 11.8 对比分析构建的线性回归和决策树模型 294 11.9 本章小结 296 第12章 实战案例：电信客户流失数据分析与挖掘 12.1 案例背景 298 12.2 加载数据 298 12.3 数据准备 300 12.4 数据清洗 301 12.4.1  缺失值处理 301 12.4.2  重复值处理 301 12.4.3  数值类型转换 301 12.5 数据处理 304 12.6 数据可视化 305 12.7 特征工程 313 12.8 数据建模 318 12.9 训练模型 318 12.10 模型的评估 319 12.11 本章小结 320