Python数据分析与挖掘实战

1. 泰迪“1+X”大数据应用开发(Python)”职业技能等级证书高级配套教材 2. 随书附带Python源码，方便读者系统学习并动手实践 3. 实战案例丰富 4. 提供PPT课件、教学大纲、教学进度表，以及教案等资源

本书以Python数据分析与挖掘的常用技术与真实案例相结合的方式，深入浅出地介绍Python数据分析与挖掘的重要内容。本书共11章，分为基础篇（第1～5章）和实战篇（第6～11章），基础篇包括数据挖掘基础、Python数据挖掘编程基础、数据探索、数据预处理、数据挖掘算法基础等基础知识；实战篇包括6个案例，分别为信用卡高风险客户识别、餐饮企业菜品关联分析、金融服务机构资金流量预测、O2O优惠券使用预测、电视产品个性化推荐，以及基于TipDM大数据挖掘建模平台实现金融服务机构资金流量预测。本书大部分章节包含实训和课后习题，通过练习和操作实践，可帮助读者巩固所学的内容。 本书可作为“1+X”证书制度试点工作中的大数据应用开发（Python）职业技能等级（高级）证书的教学和培训用书，也可作为高校数据科学或人工智能相关专业的教材，还可作为数据挖掘爱好者的自学用书。

翟世臣，男，安徽信息工程学院，企业级开发技术讲师，高级工程师， 中国科学技术大学软件工程硕士 南京航空航天大学在读博士 研究方向：机器学习，数据分析与可视化，知识图谱 授课方向: Java EE，python，mysql，软件工程导论，人工智能导论 获奖情况：校级靠前教师，校级青年教师技能大赛一等奖，指导学生竞赛省级一等奖与重量二等奖等多项优秀指导老师

基础篇
第1章 数据挖掘基础 1
1.1 数据挖掘发展史 1
1.2 数据挖掘的常用方法 2
1.3 数据挖掘的通用流程 2
1.3.1 目标分析 2
1.3.2 数据抽取 2
1.3.3 数据探索 3
1.3.4 数据预处理 3
1.3.5 分析与建模 4
1.3.6 模型评价 4
1.4 常用数据挖掘工具 4
1.5 Python数据挖掘环境配置 5
小结 7
课后习题 7
第2章 Python数据挖掘编程基础 9
2.1 Python使用入门 9
2.1.1 基本命令 9
2.1.2 判断与循环 12
2.1.3 函数 13
2.1.4 库的导入与添加 15
2.2 Python数据分析预处理的常用库 17
2.2.1 NumPy 17
2.2.2 pandas 17
2.2.3 Matplotlib 18
2.3 Python数据挖掘建模的常用库和框架 18
2.3.1 scikit-learn 18
2.3.2 深度学习框架 19
2.3.3 其他 21
小结 22
实训 判断、函数、类型转换的使用 22
课后习题 23
第3章 数据探索 24
3.1 数据校验 24
3.1.1 一致性校验 24
3.1.2 缺失值校验 27
3.1.3 异常值校验 29
3.2 数据特征分析 33
3.2.1 描述性统计分析 33
3.2.2 分布分析 36
3.2.3 对比分析 40
3.2.4 周期性分析 43
3.2.5 贡献度分析 44
3.2.6 相关性分析 45
小结 48
实训 48
实训1 分布分析、描述性统计分析和贡献度分析 48
实训2 对比分析、相关性分析和周期性分析 49
课后习题 50
第4章 数据预处理 52
4.1 数据清洗 52
4.1.1 重复值处理 52
4.1.2 缺失值处理 55
4.1.3 异常值处理 57
4.2 数据变换 58
4.2.1 简单函数变换 58
4.2.2 数据标准化 58
4.2.3 数据离散化 61
4.2.4 独热编码 63
4.3 数据合并 65
4.3.1 多表合并 65
4.3.2 分组聚合 72
小结 80
实训 80
实训1 数据清洗 80
实训2 数据变换 82
实训3 数据合并 82
课后习题 82
第5章 数据挖掘算法基础 84
5.1 分类与回归 84
5.1.1 常用的分类与回归算法 84
5.1.2 分类与回归模型评价 85
5.1.3 线性模型 89
5.1.4 决策树 93
5.1.5 最近邻分类 97
5.1.6 支持向量机 99
5.1.7 神经网络 101
5.1.8 集成算法 107
5.2 聚类 112
5.2.1 常用的聚类算法 112
5.2.2 聚类模型评价 114
5.2.3 K-Means算法 115
5.2.4 密度聚类 120
5.2.5 层次聚类 123
5.3 关联规则 126
5.3.1 常用关联规则算法 126
5.3.2 Apriori算法 127
5.4 智能推荐 131
5.4.1 常用智能推荐算法 131
5.4.2 智能推荐模型评价 132
5.4.3 协同过滤推荐算法 133
5.4.4 基于流行度的推荐算法 138
5.5 时间序列 139
5.5.1 时间序列算法 140
5.5.2 时间序列的预处理 140
5.5.3 平稳序列分析 142
5.5.4 非平稳序列分析 144
实训 152
实训1 使用分类算法实现客户流失预测 152
实训2 使用K-Means聚类算法实现超市顾客聚类分析 152
实训3 使用Apriori算法挖掘网址间的相关关系 153
实训4 使用协同过滤推荐算法实现对用户进行品牌的个性化推荐 153
实训5 使用ARIMA算法实现气温预测 154
课后习题 155
实战篇
第6章 信用卡高风险客户识别 158
6.1 背景与目标 158
6.1.1 背景 158
6.1.2 数据说明 159
6.1.3 目标 160
6.2 数据探索 161
6.2.1 描述性统计分析 161
6.2.2 客户历史信用记录 162
6.2.3 客户经济情况 164
6.2.4 客户经济风险情况 166
6.3 数据预处理 169
6.3.1 数据清洗 169
6.3.2 属性构造 171
6.4 分析与建模 174
6.4.1 参数寻优 174
6.4.2 构建聚类模型 176
6.4.3 信用卡客户风险分析 176
6.5 模型评价 179
小结 180
实训 使用K-Means聚类算法实现运营商客户价值分析 180
课后习题 181
第7章 餐饮企业菜品关联分析 182
7.1 背景与目标 182
7.1.1 背景 182
7.1.2 数据说明 183
7.1.3 目标 185
7.2 数据探索 185
7.2.1 分析每日用餐人数和营业额 185
7.2.2 分析菜品热销度 187
7.3 数据预处理 189
7.3.1 数据清洗 189
7.3.2 属性构造 190
7.4 分析与建模 191
7.4.1 构建Apriori模型 191
7.4.2 训练模型 193
7.5 模型评价 194
小结 196
实训 西饼屋订单关联分析 197
课后习题 197
第8章 金融服务机构资金流量预测 198
8.1 背景与目标 198
8.1.1 背景 198
8.1.2 数据说明 199
8.1.3 目标 200
8.2 数据预处理 201
8.2.1 属性构造 201
8.2.2 截取平稳部分数据 202
8.2.3 周期性差分 204
8.2.4 平稳性检验和白噪声检验 205
8.3 分析与建模 205
8.3.1 时间序列模型的定阶 205
8.3.2 模型检验 206
8.4 模型评价 207
小结 209
实训 构建ARIMA模型预测资金赎回数据 210
课后习题 210
第9章 O2O优惠券使用预测 211
9.1 背景与目标 211
9.1.1 背景 211
9.1.2 数据说明 212
9.1.3 目标 212
9.2 数据探索 213
9.2.1 描述性统计分析 213
9.2.2 分析优惠形式信息 215
9.2.3 分析用户消费行为信息 216
9.2.4 分析商户投放优惠券信息 218
9.3 数据预处理 221
9.3.1 数据清洗 221
9.3.2 数据变换 222
9.4 分析与建模 225
9.4.1 决策树分类模型 225
9.4.2 梯度提升分类模型 227
9.4.3 XGBoost分类模型 228
9.5 模型评价 229
小结 232
实训 运营商客户流失预测 232
课后习题 233
第10章 电视产品个性化推荐 235
10.1 背景与目标 235
10.1.1 背景 235
10.1.2 数据说明 236
10.1.3 目标 237
10.2 数据预处理 238
10.2.1 数据清洗 238
10.2.2 数据探索 241
10.2.3 属性构造 248
10.3 分析与建模 251
10.3.1 基于物品的协同过滤推荐模型 252
10.3.2 基于流行度的推荐模型 254
10.4 模型评价 255
小结 257
实训 网页浏览个性化推荐 257
课后习题 258
第11章 基于TipDM大数据挖掘建模平台实现金融服务机构资金流量预测 259
11.1 平台简介 259
11.1.1 实训库 261
11.1.2 数据连接 261
11.1.3 实训数据 261
11.1.4 我的实训 262
11.1.5 系统算法 262
11.1.6 个人算法 264
11.2 快速构建金融服务机构资金流量预测实训 265
11.2.1 数据源配置 266
11.2.2 属性构造 267
11.2.3 数据筛选 271
11.2.4 周期性差分 272
11.2.5 序列检验 274
11.2.6 分析与建模 276
小结 279
实训 构建ARIMA模型预测航空公司乘客量数据 279
课后习题 279