机器学习 应用视角

机器学习方法已成为各个领域科学家、研究人员、工程师和学生的重要工具。本书面向想要使用机器学习作为主要工具，而并不一定要成为机器学习研究人员的读者。对于计算机科学专业机器学习方向的高年级本科生或低年级研究生，本书可作为教材和工具书。本书为希望使用机器学习过程来解决问题的读者提供了很多知识和经验，特别强调使用已有的工具和软件包，而不是自己痛苦地编写代码。本书特色 ? 概述机器学习的主要应用领域，强调应用统计学中标准过程的有用性。 ? 涵盖每个想使用机器学习工具的人应该了解的机器学习思想，无论他们所属的领域或从事的职业是什么。 ? 覆盖的领域足够广泛，以保证读者顺利入门，进而认识到哪些主题值得进一步探索。 ? 强调利用现有的工具和软件包快速解决实际问题。

本教材是一个机器学习工具箱，适用于计算机科学专业本科四年级或研究生一年级的学生。本书为那些想要使用机器学习过程来完成任务的人提供了许多主题，强调使用现有的工具和包，而不是自己重新编写代码。本书适用于从头至尾的讲授或阅读，不同的讲师或读者有不同的需求。

译者序
前言
致谢
关于作者
第一部分分类
第1章学会分类2
1.1分类的主要思想2
1.1.1误差率及其他性能指标2
1.1.2更详细的评估3
1.1.3过拟合与交叉验证4
1.2最近邻分类5
1.3朴素贝叶斯7
1.3.1利用交叉验证进行模型选择9
1.3.2数据缺失11
编程练习11
第2章支持向量机和随机森林14
2.1支持向量机14
2.1.1铰链损失15
2.1.2正则化16
2.1.3通过随机梯度下降来寻找分类器17
2.1.4λ的搜索19
2.1.5总结：用随机梯度下降训练20
2.1.6例子：利用支持向量机分析成人收入21
2.1.7利用支持向量机进行多类分类23
2.2利用随机森林进行分类23
2.2.1构造决策树25
2.2.2用信息增益来选择划分27
2.2.3森林29
2.2.4构造并评估决策森林29
2.2.5利用决策森林进行数据分类30
编程练习31
MNIST练习33
第3章学习理论初步35
3.1用留出损失预测测试损失35
3.1.1样本均值和期望36
3.1.2利用切比雪夫不等式37
3.1.3一个泛化界37
3.2有限分类器族的测试误差与训练误差38
3.2.1霍夫丁不等式39
3.2.2在有限预测器族上训练39
3.2.3所需样例数量40
3.3无限预测器集合41
3.3.1预测器和二值函数41
3.3.2对称化43
3.3.3泛化误差44
第二部分高维数据
第4章高维数据48
4.1概述及简单绘图48
4.1.1均值48
4.1.2杆图和散点图矩阵49
4.1.3协方差51
4.1.4协方差矩阵52
4.2维数灾难53
4.2.1灾难：数据不是你想象的那样53
4.2.2维数的小困扰55
4.3用均值和协方差理解高维数据55
4.3.1仿射变换下的均值和协方差56
4.3.2特征向量及矩阵对角化56
4.3.3通过旋转数据堆来对角化协方差矩阵57
4.4多元正态分布58
4.4.1仿射变换与高斯模型59
4.4.2绘制二维高斯模型：协方差椭圆59
4.4.3描述统计与期望60
4.4.4维数灾难的更多内容61
习题61
第5章主成分分析64
5.1在主成分上表示数据64
5.1.1近似数据团块64
5.1.2例子：变换身高体重堆65
5.1.3在主成分上表示数据67
5.1.4低维表示中的误差68
5.1.5用NIPALS算法提取若干主成分69
5.1.6主成分和缺失值70
5.1.7PCA作为平滑方法71
5.2例子：用主成分表示颜色72
5.3例子：用主成分表示人脸75
习题77
编程练习78
第6章低秩近似80
6.1奇异值分解80
6.1.1SVD和PCA81
6.1.2SVD和低秩近似82
6.1.3用SVD进行平滑82
6.2多维缩放83
6.2.1通过高维的距离选择低维的点83
6.2.2使用低秩近似分解因子84
6.2.3例子：利用多维缩放进行映射85
6.3例子：文本模型和潜在语义分析87
6.3.1余弦距离88
6.3.2对单词计数进行平滑88
6.3.3例子：对NIPS文档进行映射89
6.3.4获得词的含义90
6.3.5例子：对NIPS数据集的词进行映射92
6.3.6TF-IDF93
习题94
编程练习95
第7章典型相关分析97
7.1典型相关分析算法97
7.2例子：在词和图片上进行CCA99
7.3例子：在反射率和遮光上进行CCA102
编程练习105
第三部分聚类
第8章聚类108
8.1聚合式聚类和拆分式聚类108
8.2k均值算法及其变体111
8.2.1如何选择k的值114
8.2.2软分配115
8.2.3高效聚类和层级式k均值117
8.2.4k中心点算法117
8.2.5例子：葡萄牙的杂货117
8.2.6关于k均值算法的一些见解119
8.3用向量量化描述重复性120
8.3.1向量量化121
8.3.2例子：基于加速度计数据的行为123
编程练习126
第9章使用概率模型进行聚类130
9.1混合模型与聚类130
9.1.1数据团块的有限混合模型130
9.1.2主题和主题模型132
9.2EM算法133
9.2.1例子——高斯混合：E步134
9.2.2例子——高斯混合：M步136
9.2.3例子——主题模型：E步136
9.2.4例子——主题模型：M步137
9.2.5EM算法的实践137
习题140
编程练习140
第四部分回归
第10章回归144
10.1概述144
10.2线性回归和最小二乘法146
10.2.1线性回归146
10.2.2选择β147
10.2.3残差148
……