机器学习中的基本算法

本书共八章.第1章和第2章简要介绍了机器学习的基本概念、研究内容、算法体系，以及相关的优化理论与优化算法.第3章和第4章详细介绍了几类作为分类器和回归器的支持向量机算法，包括箅法出发点、建模思想、理论推导和箅法在数据分类、识别、拟合、预测等方面的应用.第5章和第6章着重介绍了两类常用的数据预处理方法，一类是数据的特征提取方法，另一类是数据的聚类方法.第，章和第8章介绍了几类常用的神经网络算法和数据相关分析算法.本书可用作数据科学与大数据技术、人工智能与云计算、计箅机科学与应用、数学与应用数学等本科专业中机器学习课程的教材，也可用作相关或相近学科研究生的参考教材.

前言
第1章机器学习简介1
1.1机器学习的基本概念1
1.1.1何为机器学习1
1.1.2机器学习的发展历程2
1.1.3机器学习与人工智能和深度学习之间的关系3
1.1.4机器学习的工作流程4
1.2两个简单的例子5
1.3机器学习的研究内容6
1.3.1机器学习算法的种类6
1.3.2机器学习算法的评价标准7
1.3.3机器学习算法中的过拟合和欠拟合现象8
1.4机器学习算法概述9
第2章优化的基本理论14
2.1优化问题14
2.2基本概念与基本结论18
2.3优性条件22
2.4优化模型的Wolfe对偶形式28
2.5无约束优化算法31
2.5.1速下降法32
2.5.2Newton法32
2.5.3阻尼Newton法33
2.5.4FR共轭梯度法33
2.5.5Newton-Armijo法34
2.6求解二次规划的两种快速算法35
2.6.1对偶坐标下降算法35
2.6.2逐次超松弛迭代算法36
2.7交替方向乘子法简介38
2.7.1乘子法38
2.7.2交替方向乘子法39
2.7.3全局一致性优化40
2.7.4基于1-范数的ADMM41
参考文献44
第3章支持向量分类机45
3.1基本概念45
3.2硬间隔SVM47
3.3软间隔SVM50
3.4小二乘SVM54
3.5正则化小二乘SVM55
3.5.1正则化LSSVM55
3.5.2快速学习RLSSVM的方法57
3.6正定核函数58
3.7再生核Hilbert空间63
3.8非线性SVM65
3.9孪生SVM68
3.10孪生有界SVM78
3.10.1线性TBSVM78
3.10.2非线性TBSVM81
习题与思考题85
参考文献86
第4章支持向量回归机88
4.1回归问题的提出88
4.2线性SVR90
4.2.1线性硬ε-带SVR91
4.2.2线性ε-SVR93
4.3非线性SVR94
4.4孪生SVR96
4.4.1线性TSVR96
4.4.2非线性TSVR97
4.5"-孪生SVR99
4.5.1线性ε-TSVR99
4.5.2非线性ε-TSVR100
4.6TSVR的两种小二乘形式102
4.6.1小二乘TSVR102
4.6.2孪生小二乘SVR104
习题与思考题107
参考文献107
第5章数据的特征组合方法108
5.1预备知识108
5.1.1矩阵的范数108
5.1.2矩阵的分解110
5.1.3类内、类间和总体散阵112
5.2主成分分析113
5.2.1向量内积的几何含义113
5.2.2坐标系的变换113
5.2.3PCA算法115
5.3线性判别分析117
5.4LDA的推广122
5.4.1经典LDA123
5.4.2不相关LDA124
5.4.3正交LDA125
5.4.4正则化LDA126
习题与思考题127
参考文献128
第6章数据聚类方法130
6.1k-均值聚类与k-中心聚类130
6.1.1k-均值聚类130
6.1.2k-中心聚类133
6.2凝聚聚类法133
6.3密度聚类法135
6.4谱聚类139
6.4.1基本概念139
6.4.2图的分割原则140
6.4.3谱聚类流程140
6.5极大期望聚类法141
习题与思考题143
参考文献143
第7章神经网络简介144
7.1神经元与激活函数144
7.2前馈神经网络147
7.3反向传播算法150
7.3.1误差的计算151
7.3.2梯度的计算151
7.4正则化特别学习机152
7.4.1线性RELM153
7.4.2非线性RELM155
7.4.3在RELM中常用的激活函数和核函数157
7.5卷积神经网络158
7.5.1卷积核的工作原理159
7.5.2如何利用权值和不为1的卷积核得到一个灰度图像162
7.5.3卷积核权值的确定162
7.5.4池化层的作用164
习题与思考题166
参考文献166
第8章典型相关分析167
8.1预备知识167
8.1.1随机变量的方差、协方差和相关系数167
8.1.2随机向量的方差、协方差和相关系数168
8.1.3随机矩阵的方差、协方差和相关系数169
8.2经典CCA170
8.2.1经典CCA的数学模型170
8.2.2经典CCA的几何解释172
8.2.3经典CCA的求解算法172
8.3监督CCA175
习题与思考题177
参考文献177
彩图