机器学习

这是一本基于公理研究学习算法的书。共17章，由两部分组成。靠前部分是机器学习公理以及部分理论演绎，包括靠前、2、6、8章，论述学习公理以及相应的聚类、分类理论。第二部分关注如何从公理推出经典学习算法，包括单类、多类和多源问题。第3～5章为单类问题，分别论述密度估计、回归和单类数据降维。第7、9～16章为多类问题，包括聚类、神经网络、K近邻、支持向量机、Logistic回归、贝叶斯分类、决策树、多类降维与升维等经典算法。很后靠前7章研究了多源数据学习问题。本书可以作为高等院校计算机、自动化、数学、统计学、人工智能及相关专业的研究生教材，也可以供机器学习的爱好者参考。

于剑，北京交通大学计算机学院教授，博士生导师，交通数据分析与挖掘北京市重点实验室主任，先后获得北京大学数学专业本科、硕士、博士，中国人工智能学会机器学习专委会副主任，中国计算机学会人工智能与模式识别专委会秘书长，承担多项国家自然科学基金项目，发表多篇学术论文，包括TPAMI、CVPR 等。

第1章引言
1.1机器学习的目的：从数据到知识
1.2机器学习的基本框架
1.2.1数据集合与对象特性表示
1.2.2学习判据
1.2.3学习算泫
1.3机器学习思想简论
延伸阅读
习题
参考文献
第2章归类理论
2.1类表示公理
2.2归类公理
2.3归类结果分类
2.4归类方法设计准则
2.4.1类一致性准则
2.4.2类紧致性准则
2.4.3类分离性准则
2.4.4奥卡姆剃刀准则
讨论
延伸阅读
习题
参考文献
第3章密度估计
3.1密度估计的参数方法
3.1.1最大似然估计
3.1.2贝叶斯估计
3.2密度估计的非参数方法
3.2.1直方图
3.2.2核密度估计
3.2.3K近邻密度估计法
延伸阅读
习题
参考文献
第4章回归
4.1线性回归
4.2岭回归
4.3Lasso回归
讨论
习题
参考文献
第5章单类数据降维
5.1主成分分析
5.2非负矩阵分解
5.3字典学习与稀疏表示
5.4局部线性嵌入
5.5典型关联分析
5.6多维度尺度分析与等距映射
讨论
习题
参考文献
第6章聚类理论
6.1聚类问题表示及相关定义
6.2聚类算法设计准则
6.2.1类紧致性准则和聚类不等式
6.2.2类分离性准则和重合类非稳定假设
6.2.3类一致性准则和迭代型聚类算法
6.3聚类有效性
6.3.1外部方法
6.3.2内蕴方法
延伸阅读
习题
参考文献
第7章聚类算法
7.1样例理论：层次聚类算法
7.2原型理论：点原型聚类算法
7.2.1C均值算法
7.2.2模糊C均值
7.3基于密度估计的聚类算法
7.3.1基于参数密度估计的聚类算法
7.3.2基于无参数密度估计的聚类算法
延伸阅读
习题
参考文献
第8章分类理论
8.1分类及相关定义
8.2从归类理论到经典分类理论
8.2.1PAC理论
8.2.2统计机器学习理论
8.3分类测试公理
讨论
习题
参考文献
第9章基于单类的分类算法：神经网络
9.1分类问题的回归表示
9.2人工神经网络
9.2.1人工神经网络相关介绍
9.2.2前馈神经网络
9.3从参数密度估计到受限玻耳兹曼机
9.4深度学习
9.4.1自编码器
9.4.2卷积神经网络
讨论
习题
参考文献
第10章K近邻分类模型
10.1K近邻算法
10.1.1K近邻算法问题表示
10.1.2K近邻分类算法
10.1.3K近邻分类算法的理论错误率
10.2距离加权最近邻算法
10.3K近邻算法加速策略
10.4kd树
10.5K近邻算法中的参数问题
延伸阅读
习题
参考文献
第11章线性分类模型
11.1判别函数和判别模型
11.2线性判别函数
11.3线性感知机算法
11.3.1感知机数据表示
11.3.2感知机算法的归类判据
11.3.3感知机分类算法
11.4支持向量机
11.4.1线性可分支持向量机
11.4.2近似线性可分支持向量机
11.4.3多类分类问题
讨论
习题
参考文献
第12章对数线性分类模型
12.1Softmax回归
12.2Logistic回归
讨论
习题
参考文献
第13章贝叶斯决策
13.1贝叶斯分类器
13.2朴素贝叶斯分类
13.2.1最大似然估计
13.2.2贝叶斯估计
13.3最小化风险分类
13.4效用最大化分类
讨论
习题
参考文献
第14章决策树
14.1决策树的类表示
14.2信息增益与ID3算法
14.3增益比率与C4.5算法
14.4Gini指数与CART算法
14.5决策树的剪枝
讨论
习题
参考文献
第15章多类数据降维
15.1有监督特征选择模型
15.1.1过滤式特征选择
15.1.2包裹式特征选择
15.1.3嵌入式特征选择
15.2有监督特征提取模型
15.2.1线性判别分析
15.2.2二分类线性判别分析问题
15.2.3二分类线性判别分析
15.2.4二分类线性判别分析优化算法
15.2.5多分类线性判别分析
延伸阅读
习题
参考文献
第16章多类数据升维：核方法
16.1核方法
16.2非线性支持向量机
16.2.1特征空间
16.2.2核函数
16.2.3常用核函数
16.2.4非线性支持向量机
16.3多核方法
讨论
习题
参考文献
第17章多源数据学习
17.1多源数据学习的分类
17.2单类多源数据学习
17.2.1完整视角下的单类多源数据学习
17.2.2不完整视角下的单类多源数据学习
17.3多类多源数据学习
17.4多源数据学习中的基本假设
讨论
习题
参考文献
后记
索引