金融科技大数据风控方法介绍 解释性、隐私保护与数据安全

本书是在大数据框架下，全面介绍金融科技在处理真实场景金融问题时需要掌握的最重要的几类机器学习方法，并将重点放在实施过程中需要用到的特征提取、可解释性、隐私保护与数据安全共享等相关内容的讨论上。本书内容分三部分:第一部分由1~6章组成，主要讲常规情况下，机器学习在金融场景特别是大数据风控中的建模应用；第二部分由第7章和第8章组成，主要讲在数据隐私保护和安全要求下，机器学习如何进行大数据风控建模；第三部分由9~16章组成，主要讲如何基于吉布斯抽样算法建立特征提取的理论和标准框架及其在包含投资和融资等7个不同金融场景中的应用。本书具有五个特点：一是面向应用需求，介绍机器学习在金融场景特别是大数据风控中的建模应用；二是紧扣应用，聚焦智能投顾和大数据信用评价两大领域；三是针对算法，重点讲逻辑回归和集成学习建模；四是针对数据安全和隐私保护问题，建立密文机器学习模型，实现数据共享；五是针对特征工程，基于吉布斯抽样算法，建立支持非线性特征提取的理论和标准框架。本书既可作为高等院校金融科技相关课程的通用专业基础教材，也可作为金融科技培训用书，还可作为广大金融科技爱好者和金融科技软件开发人员自学金融科技的用书以及金融科技监管部门的专业参考资料。

序一
序二
前言
绪论1
第一部分机器学习及金融应用
第1章机器学习与金融科技应用介绍11
1.1人工智能介绍11
1.2机器学习简介13
1.2.1什么是机器学习13
1.2.2机器学习建模简介15
1.2.3本节小结17
1.3机器学习大数据智能风控应用介绍17
1.3.1人工智能在金融机构风险管理中的应用18
1.3.2深度学习算法将会被广泛采用19
1.3.3大数据框架下的多种形态数据将会被广泛应用21
1.3.4基于网络的知识图谱（全息画像）形成落地解决方案21
1.3.5联邦学习方法将会大规模落地使用22
1.3.6人工智能方法在大数据风控面临的挑战22
1.4本章小结27
练习题28
第2章逻辑回归29
2.1逻辑回归原理29
2.1.1逻辑回归简介29
2.1.2分类原理30
2.1.3示例33
2.2基于很优化方法的很好回归系数确定33
2.2.1很优化问题33
2.2.2梯度下降法求解34
2.2.3模型的拟合优度评估35
2.3模型评估36
2.4多分类问题48
2.4.1多次逻辑回归48
2.4.2对逻辑回归模型进行扩展49
2.5逻辑回归评分卡49
2.6场景应用51
2.6.1数据描述52
2.6.2模型建立与评估52
2.6.3评分卡生成54
2.7本章小结58
练习题59
第3章决策树60
3.1决策树模型的原理60
3.2特征选择61
3.2.1ID3算法62
3.2.2C4.5算法63
3.2.3CART算法64
3.2.4不同决策树算法的比较65
3.3示例65
3.4过拟合与剪枝70
3.4.1预剪枝70
3.4.2后剪枝71
3.5场景应用73
3.5.1数据描述73
3.5.2模型建立与评估73
3.6本章小结73
练习题74
第4章集成学习算法75
4.1随机森林76
4.1.1随机森林算法简介76
4.1.2场景应用77
4.2GBDT算法78
4.2.1GBDT算法简介78
4.2.2GBDT算法流程79
4.2.3GBDT示例82
4.2.4Shrinkage策略88
4.2.5场景应用88
4.3XGBoost算法89
4.3.1XGBoost算法简介89
4.3.2XGBoost分类算法90
4.3.3XGBoost回归算法100
4.3.4XGBoost示例100
4.3.5场景应用132
4.4本章小结133
练习题133
第5章机器学习模型的可解释性方法135
5.1可解释性理论135
5.1.1可解释性的重要性135
5.1.2可解释性的分类136
5.1.3解释的性质136
5.2可解释性方法136
5.3SHAP解释法137
5.4LIME解释法143
5.4.1LIME算法特点144
5.4.2LIME实现步骤144
5.4.3LIME算法原理144
5.5SHAP与LIME解释法的对比145
5.6本章小结147
练习题147
第6章大数据风控机器学习建模148
6.1标签设计149
6.1.1Vintage账龄分析149
6.1.2滚动率分析151
6.1.3好/坏/不确定定义152
6.2数据清洗152
6.2.1缺失值处理152
6.2.2同值化处理153
6.2.3标准化处理153
6.3特征工程概述154
6.3.1特征变量分箱154
6.3.2变量WOE转换155
6.3.3IV值预测能力分析155
6.3.4相关性和关联性分析156
6.3.5VIF方差膨胀因子分析158
6.4模型训练与评估159
6.4.1模型建立159
6.4.2参数优化159
6.5模型验证159
6.5.1模型稳定性159
6.5.2模型区分能力160
6.6实证研究162
6.6.1数据来源与处理162
6.6.2特征工程167
6.6.3模型训练与评估182
6.6.4模型预测结果的解释186
6.6.5可解释性结果与样本真实分布的对比199
6.7本章小结201
练习题201
第二部分隐私保护和数据安全背景下的机器学习及金融应用
第7章同态加密机器学习建模205
7.1同态加密简介205
7.1.1几种主流全同态加密方案对比206
7.1.2CKKS加密方案应用207目
7.2密文逻辑回归模型构建208
7.2.1双方介绍208
7.2.2密文逻辑回归的建模过程208
7.2.3密文逻辑回归的预测过程210
7.3密文评分卡模型构建211
7.3.1研究目的212
7.3.2数据要求212
7.3.3推荐文件和源代码213
7.4密文评分卡建模流程214
7.4.1双方介绍214
7.4.2模拟数据215
7.4.3密文评分卡自动化建模流程215
7.5本章小结217
附录I代码流程操作详解217
练习题227
第8章联邦学习建模228
8.1联邦学习适用的场景228
8.2联邦学习的分类228
8.3联邦学习框架下的机器学习算法230
8.3.1纵向安全联邦逻辑回归230
8.3.2Secureboost232
8.4联邦学习实证234
8.4.1Secureboost示例234
8.4.2场景应用249
8.5本章小结253
练习题254
第三部分吉布斯抽样算法的特征提取及场景应用
第9章吉布斯抽样方法和特征提取框架介绍257
9.1吉布斯抽样方法可以解决什么问题257
9.2逻辑回归模型框架下的关联特征的提取方法259
9.3实现吉布斯抽样特征提取的算法框架261
9.4集成学习模型框架下的关联特征提取步骤263
9.5本章小结263
附录II支持关联特征提取的比值比指标介绍264
练习题265
第10章筛选刻画FOF关联风险特征指标266
10.1基金自身关联风险因素介绍267
10.2影响基金的其他相关因素268
10.3筛选FOF关联特征的随机搜索算法框架建立269
10.3.1金融产品（基金）业绩相关特征提取的基本思路269
10.3.2非结构性数据特征提取推断算法框架270
10.3.3核心特征的提取与筛选275
10.4基于ROC曲线的AUC测试的特征表现277
10.5本章小结283
练习题283
第11章筛选影响大宗商品价格变化的特征指标285
11.1大宗商品价格因素相关背景介绍286
11.2期货铜特征因子分析288
11.2.1大宗商品期货铜价格数据介绍288
11.2.2预测大宗商品期货铜价格变化趋势的关联特征因子289
11.2.3预测刻画影响铜价格变化的特征因子290
11.3本章小结293
附录III支持特征提取的初始关联特征因子表293
练习题297
第12章筛选影响螺纹钢期货价格变化的关联特征298
12.1螺纹钢背景综述298
12.1.1背景298
12.1.2影响螺纹钢价格因素研究现状简述299
12.2影响螺纹钢期货价格的因素分析300
12.2.1螺纹钢期货价格影响因素分析300
12.2.2构建初始特征池301
12.2.3影响螺纹钢期货价格的风险特征提取与分析方法304
12.2.4刻画螺纹钢期货价格变化实证分析306
12.3本章小结312
练习题313
第13章筛选影响公司财务欺诈行为的关联特征315
13.1公司财务欺诈行为背景介绍315
13.2公司财务欺诈行为的特征指标318
13.2.1上市公司财务欺诈风险特征介绍318
13.2.2特征提取方法简介319
13.3建立全面刻画公司财务欺诈的预警体系320
13.3.1案例分析321
13.3.2公司监事关联性322
13.3.3建立有效预测财务欺诈框架323
13.4本章小结324
练习题324
第14章针对上市公司财务欺诈行为的评估326
14.1基于舞弊三角理论的咖啡馆财务质量评估327
14.1.1财务舞弊与财务欺诈327
14.1.2舞弊三角理论327
14.2常见舞弊类型讨论329
14.3咖啡馆财务质量评估方法330
14.3.1基本思想陈述330
14.3.2核心指标331
14.4针对上市公司财务舞弊案例分析332
14.4.1压力与动机332
14.4.2机会与漏洞333
14.4.3态度与借口334
14.4.4结论和针对欺诈行为的特征刻画讨论335
14.5本章小结336
练习题337
第15章筛选影响个人信用贷款的关联特征338
15.1背景338
15.2数据来源339
15.3算法选取：XGBoost与吉布斯算法的异同表现339
15.4筛选的数据结果与讨论340
15.5本章小结345
练习题345
第16章建立刻画乡村农户贫困状态特征因子的筛选框架346
16.1背景346
16.2特征指标筛选与分析流程框架建立思路349
16.2.1基础指标池的构建349
16.2.2建立特征指标筛选框架的基本思路350
16.2.3针对特征指标的建模分析与甄别能力的有效性测试350
16.3支持特征提取的数据源样本描述351
16.3.1提取刻画乡村农户贫困状态特征的框架和分析352
16.3.2刻画农户贫困状态的特征指标的筛选结果356
16.3.3刻画农户贫困状态特征指标甄别的有效性测试357
16.4结论的简要解读和讨论建议359
16.5本章小结361
附录IV描述农户贫困状态特征指标的基本定义和解释362
练习题363
参考文献365
附录A基于Python语言对几种典型算法的基本功能代码实现376
A.1线性回归模型简介376
A.2线性分类模型简介382
A.3决策树模型简介393
A.4集成模型简介404
A.4.1引导聚集404
A.4.2梯度提升408
A.4.3LightGBM的超参数调整409
A.4.4集成模型用于分类411
A.4.5总结412
A.5神经网络模型简介412
A.5.1数据读取413
A.5.2多分类逻辑回归416
A.5.3分类模型的衡量417
A.5.4拟合不足与过拟合419
A.6深度学习介绍433
A.6.1近期人工智能热潮的关键推动力433
A.6.2金融服务:工具赋能到知识赋能435
A.6.3基于深度学习的知识服务435