大数据与机器学习

本书从企业实践出发，内容覆盖数据、平台、分析和应用等企业内数据流转的主要环节。布局上，按照数据与平台篇、分析篇和应用篇分别撰写。数据与平台篇（靠前~3章），立足找到数据、整合数据、使用数据三个角度，介绍数据在企业内的分布和处理逻辑，以便快速为分析准备素材。分析篇（第4~11章），选取企业实际案例，介绍常用的数据挖掘与机器学习算法，以业务场景为导向展示数据分析过程和技巧。应用篇（靠前2~15章），选取当前主流的四个应用场景，介绍如何实现数据驱动，让数据“自动”流转于各个环节。

陈春宝，先后获得了经济学硕士和工业工程博士学位，拥有10年数据分析及应用经验，目前任职于股份制商业银行总行，在数据挖掘、机器学习和业务咨询方面有着独到的见解，他的工作跨大数据、营销、风险、运营等多个领域，擅长诊断各类业务问题，应用商业和数据分析手段获得创新性的解决方案，并帮助业务部门有效的实施。
阙子扬，哈尔滨工业大学计算机硕士。在银行、信用卡、金融服务行业拥有9年系统开发和数据应用经验。
钟飞，华东师范大学统计学硕士。有近十年数据分析与建模经验，专注于信用卡、电子商务等行业的风控、运营与营销领域。

前言
第一部分数据与平台篇
第1章数据与数据平台3
1.1数据的基本形态4
1.1.1数据环境与数据形态4
1.1.2生产数据5
1.1.3原始数据5
1.1.4分析数据6
1.2数据平台7
1.2.1数据仓库平台9
1.2.2大数据平台13
1.2.3MPP数据库22
1.2.4NoSQL数据库23
1.3应用系统24
1.4本章小结25
第2章数据体系26
2.1数据闭环27
2.2数据缓冲区28
2.2.1系统解耦29
2.2.2批量导出31
2.2.3FTP传输40
2.2.4批量导入42
2.3ETL49
2.3.1ETL工具50
2.3.2ETL作业52
2.4作业调度56
2.5监控和预警56
2.5.1使用监控工具进行监控57
2.5.2使用BI工具进行监控57
2.6本章小结57
第3章实战：打造数据闭环59
3.1数据缓冲区的基本规则60
3.1.1文件存储规则61
3.1.2文件命名规则61
3.1.3文件清理规则62
3.2自动加载的流程62
3.2.1扫描文件63
3.2.2下载文件64
3.2.3解压文件65
3.2.4加载文件65
3.3自动加载程序的数据库设计66
3.3.1数据文件信息表67
3.3.2数据文件状态表68
3.3.3加载配置信息表69
3.3.4数据缓冲区信息表70
3.3.5目标服务器表70
3.4自动加载程序的多线程实现71
3.4.1ScanFiles72
3.4.2DownLoadAndUnZip75
3.4.3LoadToHive77
3.4.4LoadToOracle78
3.4.5自动加载程序的部署架构79
3.4.6程序的维护和优化80
3.5本章小结80
第二部分分析篇
第4章数据预处理83
4.1数据表的预处理84
4.2变量的预处理85
4.2.1缺失值的处理85
4.2.2极值的处理90
4.3变量的设计91
4.3.1暴力衍生91
4.3.2交叉升维92
4.4变量筛选95
4.4.1筛选显著变量95
4.4.2剔除共线性96
4.5本章小结100
第5章聚类，简单易用的客户细分方法101
5.1从客户细分说起102
5.1.1为什么要做客户细分102
5.1.2怎么做客户细分103
5.1.3聚类分析，无监督的客户细分方法107
5.2谱系聚类107
5.2.1基本步骤107
5.2.2案例：公司客户差异化服务110
5.2.3谱系聚类方法的题外话115
5.3K-means算法116
5.3.1基本步骤116
5.3.2案例：电商卖家细分117
5.3.3K-means算法的题外话121
5.4本章小结121
第6章关联规则挖掘，发现产品
加载和交叉销售机会122
6.1销售的真谛：让客户买得更多123
6.1.1案例：电商的生意经123
6.1.2案例：富国银行的“商店”经营模式124
6.1.3案例总结125
6.2交叉销售126
6.2.1为什么要做交叉销售126
6.2.2怎么做交叉销售126
6.3关联规则挖掘，发现交叉销售机会128
6.3.1Apriori算法129
6.3.2Apriori算法的主要指标129
6.3.3Apriori算法的基本步骤131
6.4案例：信用卡产品交叉销售131
6.4.1准备数据132
6.4.2SAS实现132
6.4.3结果分析133
6.4.4序列关联分析136
6.4.5结果应用137
6.5本章小结138
第7章社交网络分析，从“关系
的角度分析问题139
7.1先看几张美轮美奂的图片140
7.2社交网络分析方法142
7.2.1定义142
7.2.2应用场景142
7.2.3网络识别算法143
7.3案例：电商通过订单数据识别供应链144
7.3.1供应链及供应链金融144
7.3.2识别核心企业及其上下游关系144
7.3.3分析结果的业务应用149
7.4案例：P2P投资风险防范151
7.4.1案例背景151
7.4.2防范方法152
7.5本章小结153
第8章线性回归，预测客户价值155
8.1数值预测156
8.2回归与拟合157
8.2.1回归就是拟合157
8.2.2在Excel中添加趋势线预测158
8.3案例：信用卡客户价值预测159
8.3.1确定预测目标159
8.3.2准备建模数据161
8.3.3模型拟合163
8.3.4模型评估165
8.4基于客户价值分层的业务策略167
8.5本章小结167
第9章Logistic回归，精准营销的
主要支撑算法169
9.1大数据时代的精准营销170
9.1.1精准营销170
9.1.2基于大数据的精准营销模式171
9.1.3如何做到精准172
9.2Logistic回归算法介绍173
9.2.1算法原理173
9.2.2关键步骤174
9.3案例：信用卡消费信贷产品的精准营销176
9.3.1案例背景176
9.3.2数据准备176
9.3.3数据预处理180
9.3.4建模182
9.3.5模型评估185
9.4预测模型的应用与评估189
9.5本章小结189
第10章决策树类算法，反欺诈
模型“专家”191
10.1决策树，重要的分类器191
10.2决策树的关键思想192
10.2.1理财客户画像案例背景192
10.2.2关键思想一：递归划分194
10.2.3关键思想二：剪枝197
10.3案例：电商盗卡交易风险识别198
10.3.1案例背景198
10.3.2以SAS实现199
10.3.3以Clementine实现201
10.3.4以R实现204
10.4随机森林208
10.5本章小结209
第11章数据可视化，是分析更是
设计210
11.1数据演示之道210
11.1.1好“色”之图211
11.1.2版式有形212
11.1.3数据发声214
11.2个性化地图215
11.2.1案例背景：存款增长率指标展示215
11.2.2获取地理位置的经纬度数据216
11.2.3定制地图背景和图标217
11.2.4生成地图220
11.3文本分析222
11.3.1案例：电商的客户评价分析222
11.3.2分词223
11.3.3词云制作224
11.3.4情感分析225
11.4本章小结227
第三部分应用篇
第12章标签系统231
12.1认识标签系统231
12.2标签系统的设计233
12.2.1标签系统的层次结构233
12.2.2标签系统的更新规则233
12.2.3机器学习模型转化为标签235
12.3标签系统的实现236
12.3.1标签映射表237
12.3.2标签系统的前端实现238
12.3.3标签系统的数据后端实现238
12.3.4标签系统的在线接口实现242
12.4本章小结242
第13章数据自助营销平台244
13.1数据自助营销平台的价值所在245
13.1.1自动化营销，提升工作效率245
13.1.2降低营销成本，提升用户体验247
13.1.3个性化营销，提升响应率248
13.1.4统一管理，便于效果追踪249
13.2数据自助营销平台的实现原则249
13.2.1数据营销活动的节点249
13.2.2数据自助营销平台的基础：标签系统251
13.2.3数据自助营销平台的批量任务252
13.2.4实时数据营销254
13.3数据自助营销平台的场景实例254
13.3.1客户生命周期管理254
13.3.2用卡激励计划257
13.4本章小结260
第14章基于Mahout的个性化推荐系统261
14.1Mahout的推荐引擎262
14.1.1Mahout的安装配置262
14.1.2Mahout的使用方式263
14.1.3协同过滤算法264
14.1.4Mahout的推荐引擎265
14.2规模与效率268
14.2.1Mahout推荐算法的适用范围268
14.2.2通过分布式解决规模和效率的问题270
14.3实现一个推荐系统275
14.3.1系统框架275
14.3.2推荐系统的刷新276
14.3.3部署一个可用的推荐系统276
14.4本章小结280
第15章图计算与社会网络281
15.1社会网络和属性图282
15.2SparkGraphX与Neo4j283
15.2.1Scala编程语言284
15.2.2Cypher查询语言285
15.3使用SparkGraphX和Neo4j处理社会网络286
15.3.1背景说明286
15.3.2数据准备286
15.3.3SparkGraphX处理原始网络287
15.3.4Neo4j交互式查询分析291
15.3.5更多的应用场景295
15.4本章小结296

Preface  前    言不畏浮云遮望眼，只缘身在最高层。    —王安石《登飞来峰》数据科学家 = 统计学家 + 程序员 + 讲故事的人 + 艺术家—Shlomo Aragmon本书的创作初衷大数据方面的书籍可谓琳琅满目，有的讲解理论，有的介绍方法，有的传播理念。但是，大数据从业人员（如数据工程师、数据分析师、业务分析师、算法设计师等）应该掌握哪些知识与技能，如何应用数据解决现实的业务问题呢？恐怕最能给出答案的还是实际的数据从业者。为此，三位作者基于近10年的数据分析与应用经验，融合各自在商业银行、互联网金融和电商领域的切身体验，寓理论于实战，选取多个详实的案例，站在企业实际应用的角度介绍数据分析应用过程并公布源代码，并最终形成本书。本书对于读者开展数据分析工作能够提供直接帮助，为有志于在大数据领域发展的读者启航。    本书特点本书有三大特点。其一，内容全面，覆盖大数据生态中的数据、基础平台、分析方法和应用四个领域，对数据应用从业务需求、数据准备、数据分析、挖掘建模、演示报告、成果应用等全流程进行了详细阐述；其二，以业务场景为主线，精选银行和互联网方面最具代表性的案例，站在数据消费者和分析师的角度，身临其境地介绍了数据如何产生价值，寓理论于实战，让读者能知其所以然；其三，写作手法上遵循大道至简原则，用浅显的语言介绍复杂的数据分析应用过程，归纳数据分析师乃至数据科学家应该修炼的要点，既关注技术细节，又不拖泥带水，能为读者提供直接帮助。    本书定位本书既可作为数据分析与商业分析人员的入门指引和案头工具，亦可为统计学、计算机科学、市场营销等专业研究生拓宽视野。    源代码下载对书中源代码感兴趣的读者，可与作者联系（邮箱：64346837@qq.com）。