Python数据挖掘实战（微课版）

数据挖掘旨在发现蕴含在数据中的有价值的数据模式、知识或规律，是目前非常热门的研究领域。理解数据挖掘模型的原理、方法并熟练掌握其实现技术是数据挖掘从业者必备的能力。 本书从理论模型和技术实战两个角度，全面讲述数据挖掘的基本流程、模型方法、实现技术及案例应用，帮助读者系统地掌握数据挖掘的核心技术，培养读者从事数据挖掘工作的基本能力。全书共12章，主要内容包括数据探索、数据预处理、特征选择、基础分类模型及回归模型、集成技术、聚类分析、关联规则分析、时间序列挖掘、异常检测、智能推荐等。除第1章、第2章外，本书以一章对应一个主题的形式完整描述相应主题的数据挖掘模型，简洁、清晰地介绍其基本原理和算法步骤，并结合Python语言介绍数据挖掘模型的实现技术，同时结合案例分析数据挖掘模型在数据挖掘中的应用。此外，书中还通过大量的图、表、代码、示例帮助读者快速掌握相关内容。 本书适合作为相关专业本科生和研究生的数据挖掘课程的教材，也可以作为数据挖掘技术爱好者或从业者的入门参考书。

为高等院校计算机科学与技术、数据科学与大数据及相关专业的数据挖掘课程教材，也可作为数据挖掘相关从业者的参考用书。

第1章 绪论 1 1.1 数据挖掘概述 1 1.1.1 基本概念 1 1.1.2 数据挖掘的典型应用场景 3 1.1.3 数据挖掘的演化历程 3 1.2 数据挖掘的一般流程 5 1.3 数据挖掘环境的配置 6 1.3.1 常用的数据挖掘工具 6 1.3.2 Anaconda 3下载和安装 8 1.4 本章小结 11 习题 11 第2章 Python数据挖掘模块 12 2.1 NumPy 12 2.1.1 Ndarray的创建 13 2.1.2 Ndarray的属性 16 2.1.3 索引和切片 17 2.1.4 排序 19 2.1.5 NumPy的数组运算 19 2.1.6 NumPy的统计函数 20 2.2 Pandas 21 2.2.1 Pandas的数据结构 21 2.2.2 查看和获取数据 23 2.2.3 Pandas的算术运算 25 2.2.4 Pandas的汇总和描述性统计 函数 26 2.2.5 Pandas的其他常用函数 28 2.2.6 Pandas读写文件 31 2.3 Matplotlib 33 2.3.1 Matplotlib基本绘图元素 33 2.3.2 常用的Matplotlib图形绘制 37 2.4 Scikit-learn 40 2.5 本章小结 43 习题 43 第3章 数据探索 44 3.1 数据对象与特征 44 3.1.1 特征及其类型 44 3.1.2 离散和连续特征 45 3.2 数据统计描述 45 3.2.1 集中趋势 46 3.2.2 离中趋势 47 3.3 数据可视化 48 3.3.1 散点图 48 3.3.2 箱线图 50 3.3.3 频率直方图 51 3.3.4 柱状图 52 3.3.5 饼图 53 3.3.6 散点图矩阵 54 3.4 相关性和相似性度量 56 3.4.1 相关性度量 56 3.4.2 相似性度量 60 3.5 本章小结 63 习题 63 第4章 数据预处理 64 4.1 数据集成 64 4.2 数据清洗 68 4.2.1 重复值处理 68 4.2.2 缺失值处理 71 4.2.3 异常值处理 76 4.3 数据变换 77 4.3.1 数据规范化 77 4.3.2 数值特征的二值化和离散化 81 4.3.3 标称特征的数值化处理 83 4.4 数据规约 85 4.4.1 样本规约 86 4.4.2 维度规约 88 4.4.3 数据压缩 90 4.5 本章小结 90 习题 91 第5章 特征选择 92 5.1 特征选择方法概述 92 5.2 过滤法 93 5.2.1 单变量过滤方法 93 5.2.2 多变量过滤方法 99 5.2.3 过滤法的优缺点 100 5.2.4 综合实例 100 5.3 包装法 102 5.3.1 递归特征消除 103 5.3.2 序列特征选择 104 5.3.3 包装法的优缺点 106 5.4 嵌入法 106 5.4.1 基于正则化线性模型的方法 107 5.4.2 基于树模型的方法 109 5.4.3 嵌入法的优缺点 109 5.5 本章小结 110 习题 110 第6章 基础分类模型及回归模型 111 6.1 基本理论 111 6.1.1 分类模型 111 6.1.2 欠拟合和过拟合 112 6.1.3 二分类和多分类 112 6.1.4 线性及非线性分类器 113 6.2 朴素贝叶斯分类器 113 6.2.1 基本原理 113 6.2.2 基于Python的实现 115 6.3 k近邻分类器 118 6.3.1 基本原理 118 6.3.2 基于Python的实现 119 6.4 决策树 120 6.4.1 基本原理 120 6.4.2 属性选择方法 121 6.4.3 例子：计算信息增益 123 6.4.4 剪枝 124 6.4.5 基于CART决策树的分类 125 6.4.6 进一步讨论 127 6.5 人工神经网络 127 6.5.1 人工神经网络简介 127 6.5.2 BP神经网络 128 6.5.3 基于BP神经网络的分类 131 6.6 支持向量机 132 6.6.1 支持向量机的原理 133 6.6.2 支持向量分类的Python 实现 137 6.7 模型的性能评价 138 6.7.1 分类模型的评价指标 138 6.7.2 模型的评估方法 140 6.8 案例：信用评分模型 143 6.8.1 案例描述 143 6.8.2 探索性数据分析和预处理 143 6.8.3 模型训练与评估 146 6.9 回归 148 6.9.1 线性回归 148 6.9.2 CART决策树回归 150 6.9.3 BP神经网络回归 150 6.9.4 支持向量回归 151 6.10 本章小结 152 习题 152 第7章 集成技术 153 7.1 基本集成技术 153 7.1.1 装袋 153 7.1.2 提升 155 7.1.3 堆叠 157 7.1.4 集成技术的定性分析 160 7.2 随机森林 161 7.2.1 工作原理 161 7.2.2 随机森林的Python实现 161 7.3 提升树 162 7.3.1 原理 162 7.3.2 提升树的Python实现 164 7.4 案例：电信客户流失预测 165 7.4.1 探索数据 165 7.4.2 模型性能比较 167 7.5 类不平衡问题 168 7.5.1 类不平衡处理方法 169 7.5.2 不平衡数据处理的Python 实现 171 7.6 本章小结 174 习题 174 第8章 聚类分析 175 8.1 聚类的基本原理 175 8.2 k-means算法 177 8.2.1 基本原理 177 8.2.2 进一步讨论 179 8.2.3 基于Python的实现 180 8.2.4 k-means算法的优缺点 182 8.3 聚类算法的性能评价指标 183 8.3.1 内部度量指标 184 8.3.2 外部度量指标 184 8.3.3 基于Python的实现 187 8.4 DBSCAN算法 188 8.4.1 基本概念 188 8.4.2 DBSCAN聚类算法的原理 190 8.4.3 进一步讨论 191 8.4.4 基于Python的实现 191 8.4.5 DBSCAN算法的优缺点 193 8.5 GMM聚类算法 195 8.5.1 基本原理 195 8.5.2 进一步讨论 197 8.5.3 基于Python的实现 198 8.5.4 讨论：优点和不足 200 8.6 本章小结 201 习题 201 第9章 关联规则分析 202 9.1 概述 202 9.1.1 基本概念 202 9.1.2 关联规则挖掘算法 204 9.2 Apriori算法生成频繁项集 205 9.2.1 先验原理 205 9.2.2 产生频繁项集 205 9.2.3 生成关联规则 207 9.2.4 基于Python的Apriori算法 实现 208 9.2.5 进一步讨论 210 9.3 FP-growth算法 210 9.3.1 FP-tree的构建 211 9.3.2 挖掘主FP-tree和条件 FP-tree 213 9.3.3 基于Python的FP-growth算法实现 213 9.3.4 进一步讨论 215 9.4 Eclat算法 215 9.4.1 事务数据集的表示方式 215 9.4.2 Eclat算法生成频繁项集 215 9.4.3 基于Python的Eclat算法 实现 216 9.4.4 进一步讨论 219 9.5 案例：网上零售购物篮分析 219 9.5.1 数据集及案例背景 219 9.5.2 探索性分析和数据预处理 220 9.5.3 使用Apriori算法挖掘关联 规则 221 9.6 本章小结 223 习题 223 第10章 时间序列挖掘 224 10.1 时间序列挖掘概述 224 10.1.1 时间序列挖掘的目的 224 10.1.2 时间序列挖掘的意义 224 10.1.3 时间序列挖掘的基本概念 225 10.2 时间序列预处理 226 10.2.1 常用序列特征统计量 226 10.2.2 平稳序列 227 10.2.3 平稳性检验 228 10.2.4 纯随机性检验 230 10.3 平稳非白噪声序列建模 231 10.3.1 AR模型 231 10.3.2 MA模型 232 10.3.3 ARMA模型 232 10.3.4 建模过程 233 10.3.5 模型检验方法 233 10.4 非平稳序列建模 234 10.4.1 非平稳序列概述 234 10.4.2 差分运算 234 10.4.3 ARIMA模型 234 10.5 基于Python的ARIMA模型 实现 235 10.6 案例：基于ARIMA模型的 销售额预测 236 10.7 本章小结 241 习题 241 第11章 异常检测 242 11.1 基于统计的异常检测方法 243 11.1.1 基于一元正态分布的异常 检测方法 243 11.1.2 基于多元正态分布的异常 检测方法 245 11.1.3 基于Python的实现 245 11.2 基于聚类的异常检测方法 247 11.2.1 基本原理 247 11.2.2 基于Python的实现 248 11.3 孤立森林方法 249 11.3.1 基本原理 249 11.3.2 基于Python的实现 251 11.4 本章小结 254 习题 254 第12章 智能推荐 255 12.1 智能推荐概述 255 12.1.1 智能推荐定义 255 12.1.2 智能推荐场景 255 12.1.3 常用智能推荐技术 256 12.2 基于用户的协同过滤技术 256 12.2.1 概述 256 12.2.2 常用的评价指标 257 12.2.3 基本过程描述 258 12.2.4 案例：使用基于用户的协同 过滤方法进行电影推荐 261 12.3 基于物品的协同过滤技术 264 12.4 非负矩阵分解 265 12.4.1 基本原理 265 12.4.2 基于Python的实现 266 12.5 本章小结 269 习题 269 参考文献 271