快乐机器学习

学习并精通任何一门学科无外乎要经过四个步骤：它是什么？它可行吗？怎么学它？如何学好它？机器学习也不例外，《快乐机器学习》就以这四个步骤来介绍机器学习。
《快乐机器学习》第1章介绍“机器学习是什么”，即从定义开始，详细介绍机器学习涉及的知识、数据和性能度量。第2章介绍“机器学习可行吗”，即介绍机器具备学习样本以外的数据的能力。
第3章介绍“机器学习怎么学”，即介绍机器如何选择出很优模型。作者在这3章的写作上花费的时间最多，光这3章的内容就绝对会让读者有所收获。
第4~14章介绍“如何学好机器学习”，重点介绍机器学习的各类算法和调参技巧。
第15章介绍机器学习中的一些非常实用的经验，包括学习策略、目标设定、误差分析和偏差与方差分析。作者写作本书的目的是深入浅出介绍机器学习，使看似复杂、晦涩的专业知识变得通俗易懂，让那些想入门的读者感觉门槛没有那么高，让有基础的读者感觉内容也很丰富。
为了达到这两个目的，本书用有趣的引言故事来激起读者的阅读兴趣，用清晰的思维导图来明晰结构，用自画图表来增强美感，用公式推导来讲透原理，达到趣、美、准、全，让每位读者从本书中获益，快乐地学习机器学习。《快乐机器学习》非常适合机器学习初学者、高校相关专业学生及有一定数学和统计学基础的高中生学习。

第1章机器学习是什么——机器学习定义1
引言2
1.1数据5
1.1.1结构型与非结构型数据5
1.1.2原始数据与加工7
1.1.3样本内数据与样本外数据9
1.2机器学习类别9
1.2.1有监督学习10
1.2.2无监督学习10
1.2.3半监督学习11
1.2.4增强学习11
1.2.5深度学习11
1.2.6迁移学习12
1.3性能度量12
1.3.1误差函数13
1.3.2回归度量14
1.3.3分类度量15
1.4总结19
参考资料20
第2章机器学习可行吗——计算学习理论22
引言23
2.1基础知识25
2.1.1二分类25
2.1.2对分26
2.1.3增长函数29
2.1.4突破点30
2.2核心推导31
2.2.1机器学习可行条件31
2.2.2从已知推未知33
2.2.3从民意调查到机器学习35
2.2.4从单一到有限36
2.2.5从有限到无限37
2.2.6从无限到有限38
2.3结论应用39
2.3.1VC不等式39
2.3.2VC维度40
2.3.3模型复杂度40
2.3.4样本复杂度41
2.4总结42
参考资料43
技术附录43
第3章机器学习怎么学——模型评估选择47
引言48
3.1模型评估52
3.2训练误差和测试误差52
3.2.1训练误差52
3.2.2真实误差54
3.2.3测试误差57
3.2.4学习理论57
3.3验证误差和交叉验证误差60
3.3.1验证误差60
3.3.2交叉验证误差61
3.3.3学习理论62
3.4误差剖析64
3.4.1误差来源64
3.4.2偏差―方差权衡66
3.5模型选择67
3.6总结70
参考资料71
技术附录71
第4章线性回归73
引言74
4.1基础知识75
4.1.1标量微积分75
4.1.2向量微积分76
4.2模型介绍77
4.2.1核心问题77
4.2.2通用线性回归模型83
4.2.3特征缩放84
4.2.4学习率设定86
4.2.5数值算法比较87
4.2.6代码实现89
4.3总结90
参考资料90
第5章对率回归92
引言93
5.1基础内容94
5.1.1联系函数94
5.1.2函数绘图95
5.2模型介绍96
5.2.1核心问题96
5.2.2查准和查全102
5.2.3类别不平衡104
5.2.4线性不可分105
5.2.5多分类问题106
5.2.6代码实现109
5.3总结110
参考资料111
第6章正则化回归112
引言113
6.1基础知识114
6.1.1等值线图114
6.1.2坐标下降116
6.2模型介绍116
6.2.1核心问题116
6.2.2模型对比122
6.2.3很好模型125
6.2.4代码实现126
6.3总结126
参考资料127
第7章支持向量机128
引言129
7.1基础知识133
7.1.1向量初体验133
7.1.2拉格朗日量136
7.1.3原始和对偶137
7.2模型介绍138
7.2.1硬间隔SVM原始问题138
7.2.2硬间隔SVM对偶问题144
7.2.3软间隔SVM原始问题148
7.2.4软间隔SVM对偶问题150
7.2.5空间转换151
7.2.6核技巧155
7.2.7核SVM158
7.2.8SMO算法159
7.2.9模型选择161
7.3总结162
参考资料164
技术附录164
第8章朴素贝叶斯170
引言171
8.1基础知识174
8.1.1两种概率学派174
8.1.2两种独立类别174
8.1.3两种学习算法175
8.1.4两种估计方法176
8.1.5两类概率分布177
8.2模型介绍179
8.2.1问题剖析179
8.2.2朴素贝叶斯算法182
8.2.3多元伯努利模型183
8.2.4多项事件模型184
8.2.5高斯判别分析模型184
8.2.6多分类问题186
8.2.7拉普拉斯校正187
8.2.8优选似然估计和优选后验估计188
8.3总结190
参考资料191
技术附录191
第9章决策树195
引言196
9.1基础知识198
9.1.1多数规则198
9.1.2熵和条件熵198
9.1.3信息增益和信息增益比200
9.1.4基尼指数201
9.2模型介绍201
9.2.1二分类决策树201
9.2.2多分类决策树209
9.2.3连续值分裂210
9.2.4欠拟合和过拟合211
9.2.5预修剪和后修剪212
9.2.6数据缺失215
9.2.7代码实现218
9.3总结219
参考资料219
第10章人工神经网络220
引言221
10.1基本知识223
10.1.1转换函数223
10.1.2单输入单层单输出神经网络224
10.1.3多输入单层单输出神经网络224
10.1.4多输入单层多输出神经网络225
10.1.5多输入多层多输出神经网络225
10.2模型应用227
10.2.1创建神经网络模型227
10.2.2回归应用230
10.2.3分类应用238
第11章正向/反向传播246
引言247
11.1基础知识250
11.1.1神经网络元素250
11.1.2链式法则254
11.2算法介绍254
11.2.1正向传播254
11.2.2梯度下降257
11.2.3反向传播258
11.2.4代码实现262
11.3总结268
参考资料268
技术附录269
第12章集成学习272
引言273
12.1结合假设277
12.1.1语文和数学277
12.1.2准确和多样278
12.1.3独裁和民主279
12.1.4学习并结合279
12.2装袋法280
12.2.1基本概念280
12.2.2自助采样280
12.2.3结合假设281
12.3提升法282
12.3.1基本概念282
12.3.2很优加权283
12.3.3结合假设285
12.4集成方式286
12.4.1同质学习器286
12.4.2异质学习器286
12.5总结288
参考资料288
第13章随机森林和提升树289
引言290
13.1基础知识293
13.1.1分类回归树293
13.1.2前向分布算法294
13.1.3置换检验295
13.2模型介绍296
13.2.1随机森林296
13.2.2提升树302
13.2.3代码实现306
13.3总结307
参考资料307
第14章靠前梯度提升309
引言310
14.1基础知识311
14.1.1树的重定义311
14.1.2树的复杂度313
14.2模型介绍313
14.2.1XGB简介313
14.2.2XGB的泛化度314
14.2.3XGB的准确度315
14.2.4XGB的速度318
14.2.5代码实现324
14.3总结325
参考资料326
第15章本书总结327
15.1正交策略328
15.2单值评估指标330
15.3偏差和方差332
15.3.1理论定义332
15.3.2实用定义334
15.3.3很优误差335
15.3.4两者权衡336
15.3.5学习曲线336
结语339