机器学习导论

这本书通过给出易操作的实践指导、采用简单的例子、激励学生讨论有趣的应用问题，用一种易于理解的方式介绍了机器学习的基本思想。本书主题包括贝叶斯分类器、近邻分类器、线性和多项式分类器、决策树、神经网络以及支持向量机。后面的章节展示了如何把这些简单工具通过“提升”（boosting）的方式结合起来，怎样将它们应用于更加复杂的领域，以及如何处理各种不错的实践问题。其中有一章介绍了广为人知的遗传算法。

米罗斯拉夫·库巴特，美国迈阿密大学教授，从事机器学习教学和研究超过25年。他已发表100余篇经过同行评审的论文，与人合编了两本著作，是近60个会议和研讨会的程序委员会委员，并担任3本学术刊物的编委。他在两个方面的前沿研究上得到了广泛赞誉：时变概念的归纳学习和在非平衡训练集上的学习。此外，在多标签样例上的归纳学习、层次组织的类别上的归纳学习、遗传算法、神经网络的初始化等问题上，他也做出了很多贡献。

推荐序
前言
第1章一个简单的机器学习任务
1.1训练集和分类器
1.2一点题外话：爬山搜索
1.3机器学习中的爬山法
1.4分类器的性能
1.5可用数据的困难
1.6总结和历史简评
1.7巩固你的知识
第2章概率：贝叶斯分类器
2.1单属性的情况
2.2离散属性值的向量
2.3稀少事件的概率：利用专家的直觉
2.4如何处理连续属性
2.5高斯钟形函数：一个标准的概率密度函数
2.6用高斯函数的集合近似概率密度函数
2.7总结和历史简评
2.8巩固你的知识
第3章相似性：最近邻分类器
3.1k近邻法则
3.2度量相似性
3.3不相关属性与尺度缩放问题
3.4性能方面的考虑
3.5加权最近邻
3.6移除危险的样例
3.7移除多余的样例
3.8总结和历史简评
3.9巩固你的知识
第4章类间边界：线性和多项式分类器
4.1本质
4.2加法规则：感知机学习
4.3乘法规则：WINNOW
4.4多于两个类的域
4.5多项式分类器
4.6多项式分类器的特殊方面
4.7数值域和支持向量机
4.8总结和历史简评
4.9巩固你的知识
第5章人工神经网络
5.1作为分类器的多层感知机
5.2神经网络的误差
5.3误差的反向传播
5.4多层感知机的特殊方面
5.5结构问题
5.6径向基函数网络
5.7总结和历史简评
5.8巩固你的知识
第6章决策树
6.1作为分类器的决策树
6.2决策树的归纳学习
6.3一个属性承载了多少信息
6.4数值属性的二元划分
6.5剪枝
6.6将决策树转换为规则
6.7总结和历史简评
6.8巩固你的知识
第7章计算学习理论
7.1PAC学习
7.2PAC可学习性的实例
7.3一些实践和理论结果
7.4VC维与可学习性
7.5总结和历史简评
7.6巩固你的知识
第8章几个有帮助的案例
8.1字符识别
8.2溢油检测
8.3睡眠分类
8.4脑机界面
8.5医疗诊断
8.6文本分类
8.7总结和历史简评
8.8巩固你的知识
第9章投票组合简介
9.1“装袋”方法(Bagging)
9.2夏皮尔提升(Schapire'sBoosting)
9.3Adaboost——Boosting的实用版本
9.4Boosting方法的变种
9.5Boosting方法的计算优势
9.6总结和历史简评
9.7巩固你的知识
第10章了解一些实践知识
10.1学习器的偏好
10.2不平衡训练集
10.3语境相关域
10.4未知属性值
10.5属性选择
10.6杂项
10.7总结和历史简评
10.8巩固你的知识
第11章性能评估
11.1基本性能标准
11.2精度和查全率
11.3测量性能的其他方法
11.4多标签域内的性能
11.5学习曲线和计算开销
11.6实验评估的方法
11.7总结和历史简评
11.8巩固你的知识
第12章统计显著性
12.1总体抽样
12.2从正态分布中获益
12.3置信区间
12.4一个分类器的统计评价
12.5另外一种统计评价
12.6机器学习技术的比较
12.7总结和历史简评
12.8巩固你的知识
第13章遗传算法
13.1基本遗传算法
13.2单个模块的实现
13.3为什么能起作用
13.4过早退化的危险
13.5其他遗传算子
13.6高级版本
13.7k-NN分类器的选择
13.8总结和历史简评
13.9巩固你的知识
第14章增强学习
14.1如何选出最高奖励的动作
14.2游戏的状态和动作
14.3SARSA方法
14.4总结和历史简评
14.5巩固你的知识
参考文献

目前，机器学习慢慢走向成熟。你可能觉得这只是老生常谈，请让我做一个详细说明。
人们希望机器某一天能够自己学习，这个梦想几乎在计算机出现时就有了，也许更早。不过，长久以来，这仅仅是一个想象而已。罗森布拉特（Rosenblatt）感知器的提出曾经掀起过一股热潮，但是现在回想起来，这股热潮没能持续很长的时间。至于接下来的尝试，使情况发展得更糟糕，这个领域甚至没有再引起人们的注意，长期被忽视，因而无法取得重大突破，也没有这一类的软件公司，后续研究寥寥无几且得到的资金支持也不多。这个阶段，机器学习一直不被看好，像进入休眠期一样，在其他成功学科的阴影里生存。
然而，接下来发生的一切使这些颓势彻底改变了。
一群有识之士指出，在20世纪70年代的人工智能领域，基于知识的系统曾经风靡一时，但它们有一个弱点：“知识”从哪里来？当时主流的观点认为，应该让工程师和领域专家合作，用if-then的形式表示出来。但是实际情况差强人意，专家们发现很难把掌握的知识表达给工程师。反过来，工程师也不知道该问什么问题以及如何表示答案。尽管有几个广为人知的成功案例，但是其他大多数研究都试图建立知识库，并且成千上万的规则令人沮丧。
这些有识之士主张简单和直接的操作。如果难以准确地告诉机器如何处理某个问题，那么为什么不间接地给出指令，通过例子展示所需要的技能，计算机将通过这些例子来学习！
当然，这必须要有能够进行学习的算法才有意义，这也是困难所在。无论是罗森布拉特的感知器还是后来出现的技术都不太管用。然而，机器学习在技术方面的缺乏算不上是障碍，相反是一个挑战，并激发出了很多绝妙的点子。其中，使计算机有学习能力这个想法开创了一个激动人心的新领域，并引起了世人的关注。
这一想法在1983年爆发了。一卷很厚的论文集——《机器学习：人工智能的方法》 米切尔斯基(R. Michalski), 卡波内尔（J. Carbonell）, 米切尔（T. Mitchell）编辑。
 T.Mitchell.Machine Learning［M］.New York:McGraw-Hill,1997.中提出了很多各式各样的方法来求解这个谜题。在它的影响下，几乎一夜之间一个新的学科诞生了。3年后，后续著作一本接一本地出现。相关学术刊物也很快被创立，有着巨大影响力的年度学术会议相继召开。几十、或许是几百篇博士论文完成并通过答辩。
早期阶段，问题不仅是如何学习，而是学什么和为什么学。这段充满创造力的岁月让人难以忘怀，唯一有些遗憾的是很多非常好的想法后来被放弃了。实用主义占了上风，资源都被投向那些最有希望的方向。经过一段时间的发展，具体研究基本成形：知识系统if-then规则的归纳，分类归纳，程序基于经验来提高技能，Prolog程序自动调优，以及其他方面。相关的研究方向非常多，一些知名学者希望通过写书来引领未来的发展，这其中有些人做得很成功。
机器学习发展的一个重要的转折点是汤姆·米切尔（Tom Mitchell）的传奇教科书。该书向博士生和科学家们总结了该领域的发展现状，慢慢地大学也用这本书作为研究生的教材。同时，研究方法也变得更加系统化。大量机器学习测试库被建立起来，用于比较性能或者学习算法的优劣。统计评估方法也被广泛地使用在评估过程中。相关流行程序的公开版本很容易获得，从事这个学科的人数增至数千，甚至更多。
现在，到了很多大学都为本科生开设机器学习课程的阶段。通常这些课程需要不同类型的教材。除了掌握基本技术以外，学生还需要了解不同方法的优点和缺点，以及不同情况下每种方法的独特之处。最重要的是，他们需要理解在特定情况下，哪些技术是可行的，哪些是不可行的。只有这样才能在解决具体问题时做出正确的选择。一本教材除了满足以上的各项要求外，还应该介绍一些数学概念，多包括一些实用的建议。
关于教材，还要考虑材料的多少、结构以及风格，以便能够支持一个学期的导论课程。
第一个问题是材料的选择。当高科技公司准备成立机器学习研究团队时，大学就要向学生传授相应的知识和技能，以及对有关行业需求的理解。出于这个原因，本书重点介绍了贝叶斯分类器，最近邻分类器，线性和多项式分类器，决策树，神经网络的基础，以及提升（Boosting）算法的原理。本书用很大篇幅来描述具体应用的典型特征。在现实中，当面对有一定难度的任务时，一些基本方法和老师在实验环境下演示的结果可能不完全一样。因此在学习过程中，学生必须知道每种方法会发生什么。
本书共包括14章，每章覆盖一个专题。各章分成很多个小节，每节介绍一个关键问题。建议学生在做完每一节后面的2~4个“控制问题”后再学习下一节。这些问题用来帮助检查学生对学习材料的掌握情况。如果不会做这些题，则有必要重新阅读相关内容。
俗话说，实践出真知。每章结尾安排了必要的练习用于实际操作。如果接下来的思考实验能够全部完成，将有助于更深入地理解所学内容的各个方面。不过这些实验难度较大，只有付出很大努力才能获得正确的答案。所学的知识在上机实验中可被进一步巩固。编程对于学习同样也很重要。现在，人们都习惯从网上下载所需的程序，这是捷径，但本书不建议这样做，因为只有具体实现了程序的全部细节，才能领会机器学习技术的精妙之处。