机器学习与Python实践

本书是针对非计算机专业编写的机器学习教材，内容由浅入深，使用目前流行的Python语言进行描述。书中示例丰富、落地，具有较高的学习价值。 1.内容翔实，案例新颖 2.模拟实训，代码指导 3.资源丰富，便于教学

本书是一本机器学习入门的书籍。全书系统地讲解了机器学习的理论以及在实际数据分析中使用机器学习的基本步骤和方法；介绍了进行数据处理和分析时怎样选择合适的模型，以及模型的估计和优化算法等，并通过多个例子展示了机器学习的应用和实践经验。不同于很多讲解机器学习方法的书籍，本书以实践为导向，使用Python作为编程语言，强调简单、快速地建立模型，解决实际问题。读者通过对本书内容的学习，可以迅速上手实践机器学习，并利用机器学习解决实际问题。
本书可作为机器学习课程的教材，也适合于有意从事使用机器学习分析财经数据的分析师，以及经管类的本科生和研究生阅读。

黄勉，上海财经大学教授，研究方向为现代统计学方法、数据挖掘/机器学习、数量金融/量化投资，教授课程为数据挖掘、金融统计学、投资学。

第1章机器学习概述1
1.1引言1
1.1.1问题导向框架1
1.1.2数据挖掘和机器学习3
1.1.3人工智能和机器学习3
1.2机器学习的分类4
1.2.1无监督学习、有监督学习和强化学习4
1.2.2深度学习和浅层学习5
1.2.3统计学习6
1.3机器学习的发展历程及应用7
本章习题7
第2章Python科学计算简介9
2.1基础变量类型9
2.1.1数字(Number)9
2.1.2字符串(String)10
2.1.3列表(List)12
2.1.4元组(Tuple)13
2.1.5字典(Dictionary)14
2.2控制语句和函数15
2.2.1控制语句15
2.2.2函数17
2.3用于科学计算和数据处理的库19
2.3.1NumPy19
2.3.2SciPy23
2.3.3Pandas23
2.4作图和可视化25
2.4.1plot()函数与savefig()函数26
2.4.2标题、图例和坐标26
2.4.3散点图与直方图27
2.4.4ImagePlot28
2.5输入和输出28
2.5.1标准输入和输出函数28
2.5.2第三方库的输入输出函数29
2.5.3案例分析：读取并处理股票行情数据29
2.6面向对象编程30
2.6.1面向过程编程31
2.6.2案例分析：面向对象编程示例31
2.7Python常用工具库33
本章习题34
第3章无监督学习36
3.1描述性统计36
3.1.1描述性统计分析工具36
3.1.2案例分析：指数收益率的描述性统计39
3.2核密度估计40
3.2.1核密度估计方法40
3.2.2核密度估计的目标函数42
3.3k均值算法42
3.4主成分分析44
3.4.1Z大投影方差和Z小重构误差45
3.4.2特征分解和奇异值分解46
3.4.3案例分析：手写数字3特征分析47
3.4.4案例分析：利率期限结构50
3.4.5案例分析：股票收益率的协方差矩阵分解52
3.5混合模型和隐马尔可夫模型54
3.5.1混合模型54
3.5.2隐马尔可夫模型55
本章习题59
第4章线性回归和正则化方法60
4.1回归分析流程60
4.1.1回归分析流程的主要步骤61
4.1.2案例分析：宏观违约率预测65
4.2变量选择基础66
4.2.1变量选择方法简介66
4.2.2案例分析：指数跟踪68
4.2.3ForwardStagewise回归69
4.3正则化方法70
4.3.1L2正则71
4.3.2L1正则72
4.3.3惩罚函数和稀疏性78
4.4回归估计和矩阵分解80
4.4.1奇异值分解和线性回归80
4.4.2QR分解和QR算法83
本章习题85
第5章分类86
5.1判别分析86
5.1.1线性判别分析87
5.1.2二次判别分析89
5.1.3朴素贝叶斯89
5.2逻辑回归89
5.2.1模型估计90
5.2.2与交叉熵的关系93
5.2.3案例分析：股票涨跌预测94
5.3支持向量机96
5.4分类的评判99
5.4.1混淆矩阵和常用度量99
5.4.2F1Score100
5.4.3ROC和AUC101
5.4.4数据不平衡的处理104
本章习题105
第6章局部建模106
6.1样条方法106
6.1.1三阶样条106
6.1.2自然三阶样条107
6.2核技巧108
6.3局部回归111
6.3.1K邻近估计111
6.3.2局部常数估计113
6.3.3局部多项式估计114
6.3.4案例分析：期权隐含分布估计115
6.3.5局部似然估计117
本章习题118
第7章模型选择和模型评估120
7.1模型评估120
7.1.1泛化误差120
7.1.2交叉验证121
7.1.3Bootstrap123
7.2模型选择124
7.2.1AIC准则124
7.2.2BIC准则126
7.3估计的自由度128
7.4案例分析：期权隐含分布估计（续1）129
本章习题131
第8章统计推断基础132
8.1极大似然估计132
8.2置信区间和假设检验134
8.2.1置信区间134
8.2.2假设检验134
8.3Bootstrap方法136
8.4KL距离和信息论相关概念139
8.4.1KL距离和熵140
8.4.2KL距离和互信息141
8.5EM算法142
8.5.1EM算法与变分推断和MM算法143
8.5.2高斯混合模型的EM算法143
8.5.3隐马尔可夫模型的EM算法146
8.5.4案例分析：收益率序列隐状态预测149
本章习题152
第9章贝叶斯方法153
9.1贝叶斯定理153
9.1.1事件的贝叶斯公式153
9.1.2随机变量的贝叶斯公式154
9.2贝叶斯视角下的频率方法155
9.3抽样方法157
9.3.1拒绝抽样法157
9.3.2案例分析：期权隐含分布估计（续2）158
9.3.3Metropolis-Hastings抽样算法159
9.3.4重要性抽样164
9.3.5蒙特卡洛标准误165
9.4变分推断166
9.4.1基于平均场的变分推断166
9.4.2变分推断算法示例167
本章习题171
第10章树和树的集成173
10.1回归树和分类树173
10.1.1回归树173
10.1.2分类树175
10.2Bagging和随机森林179
10.2.1Bagging179
10.2.2随机森林180
10.3提升树BoostingTrees182
10.3.1AdaBoost182
10.3.2梯度提升树GBDT183
10.3.3XGBoost184
10.3.4案例分析：股票涨跌预测（续1）186
本章习题188
第11章深度学习189
11.1前馈神经网络和梯度下降算法189
11.1.1神经元189
1.1.2前馈神经网络191
11.1.3梯度下降算法191
11.1.4反向传播算法192
11.1.5随机梯度算法的改进193
11.1.6激活函数和梯度消失问题194
11.1.7案例分析：股票涨跌预测（续2）197
11.2网络结构198
11.2.1卷积神经网络CNN198
11.2.2循环神经网络RNN202
11.2.3Dropout203
11.2.4BatchNormalization203
11.2.5残差网络204
11.3自编码和生成模型205
11.3.1自编码205
11.3.2案例分析：手写数字3特征分析（续）207
11.3.3逐层特征学习208
11.3.4生成对抗网络209
11.3.5变分自编码210
11.4揭开深度学习的黑箱212
本章习题214
第12章强化学习215
12.1基于值函数的强化学习215
12.1.1强化学习的基础概念215
12.1.2值函数和Bellman方程216
12.1.3策略迭代和值迭代218
12.1.4基于值函数的无模型强化学习219
12.2值函数近似和深度Q网络222
12.2.1值函数的近似222
12.2.2深度Q网络DQN223
12.2.3案例分析：DQN智能交易机器人225
12.3策略梯度和Actor-Critic方法226
12.3.1策略梯度定理226
12.3.2强化学习和有监督学习的对比228
12.3.3Actor-Critic算法228
12.4学习、推演和搜索231
12.4.1“记忆式”学习231
12.4.2推演和搜索231
12.4.3蒙特卡洛树搜索232
12.4.4不接近信息决策简介233
本章习题234
参考文献235