机器学习(MATLAB版)

本书是机器学习领域的入门教材，详细阐述了机器学习的基本理论和方法。全书由12 章组成，包括绪论、线性模型与逻辑斯谛回归、决策树、贝叶斯分类器、k 近邻算法、支持向量机、人工神经网络、线性判别分析、主成分分析法、聚类、EM 算法与高斯混合聚类、集成学习等。 对每一种机器学习算法，均从算法原理的理论推导和MATLAB 实现两方面进行介绍。本书既注意保持理论分析的严谨性, 又注重机器学习算法的实用性，同时强调机器学习算法的思想和原理在计算机上的实现。全书内容选材恰当，系统性强，行文通俗流畅，具有较强的可读性。本书的建议课时为48 课时，可作为数据科学与大数据技术、计算机科学与技术、统计学以及信息与计算科学等本科专业的教材或教学参考书， 也可以作为理工科研究生机器学习课程的教材或参考书。

第1章绪论.1
1.1机器学习的基本定义.1
1.2机器学习的基本术语.1
1.3机器学习算法的分类.2
1.3.1监督学习与无监督学习.3
1.3.2分类问题与回归问题.3
1.3.3生成模型与判别模型.4
1.4学习模型的评价指标.4
1.4.1泛化能力.5
1.4.2评估方法.5
1.4.3精度与召回率.6
1.5学习模型的选择.7
1.5.1正则化技术.7
1.5.2偏差-方差分解.8
1.6机器学习的用途与发展简史.10
1.6.1机器学习应用的基本流程.10
1.6.2机器学习的应用领域与发展简史.10
第2章线性模型与逻辑斯谛回归.12
2.1线性模型的基本形式.12
2.1.1线性回归模型的理论基础.12
2.1.2线性回归模型的MATLAB实现.14
2.2逻辑斯谛回归模型.16
2.2.1逻辑斯谛回归的基本原理.16
2.2.2逻辑斯谛回归的MATLAB实现.20
第3章决策树.25
3.1决策树的基本原理.25
3.1.1树模型决策过程.25
3.1.2决策树的基本框架.26
3.1.3决策树的剪枝.27
3.2基本决策树的改进.30
3.2.1信息增益与ID3决策树.31
3.2.2增益率与C4.5决策树.33
3.2.3基尼指数与CART决策树.34
3.3决策树的MATLAB实现.37
第4章贝叶斯分类器.43
4.1贝叶斯分类器的原理.43
4.1.1贝叶斯决策.43
4.1.2朴素贝叶斯算法.44
4.1.3正态贝叶斯算法.49
4.2贝叶斯算法的MATLAB实现.51
第5章k近邻算法.55
5.1k近邻算法的基本原理.55
5.1.1k近邻算法的基本流程.55
5.1.2k近邻算法的距离函数.57
5.1.3k近邻算法的判别函数.58
5.2k近邻算法的MATLAB实现.59
第6章支持向量机.67
6.1支持向量机的基本原理.67
6.1.1线性可分问题.67
6.1.2线性不可分问题.71
6.2核化支持向量机.73
6.3支持向量回归模型.75
6.4支持向量机的MATLAB实现.78
第7章人工神经网络.83
7.1前馈神经网络简介.83
7.1.1M-P神经元.83
7.1.2感知器模型.85
7.1.3多层前馈神经网络.89
7.2误差逆传播算法.91
7.2.1一个单隐层神经网络实例.91
7.2.2通用的误差逆传播算法.95
7.3BP神经网络的MATLAB实现.101
第8章线性判别分析.106
8.1线性判别分析的基本原理.106
8.2线性判别分析的MATLAB实现.110
第9章主成分分析法.115
9.1主成分分析法的基本原理.115
9.2核主成分分析法.121
9.3PCA算法的MATLAB实现.122
9.4快速PCA算法及其MATLAB实现.125
第10章聚类.129
10.1聚类的基本原理.129
10.2k-均值算法.132
10.3k-中心点算法.136
第11章EM算法与高斯混合聚类.139
11.1高斯混合模型.139
11.2EM算法的推导.140
11.3EM算法的应用.143
11.4GMM的MATLAB实现.147
11.4.1GMM的生成.148
11.4.2GMM的参数拟合.148
11.4.3高斯混合聚类实例.151
第12章集成学习.157
12.1集成学习概述.157
12.1.1集成学习的基本概念.157
12.1.2模型的并行生成.158
12.1.3模型的串行生成.159
12.1.4模型的组合策略.159
12.2随机森林.162
12.2.1Bagging算法.162
12.2.2随机森林算法.163
12.2.3随机森林算法的MATLAB实现.164
12.3AdaBoost算法.168
12.3.1AdaBoost算法的基本原理.168
12.3.2AdaBoost算法的MATLAB实现.174
附录A数学基础知识.179
A.1概率与统计.179
A.1.1随机变量与概率.179
A.1.2条件概率与独立性.180
A.1.3期望与马尔可夫不等式.181
A.1.4方差与切比雪夫不等式.181
A.1.5样本均值与样本方差.183
A.1.6极大似然估计.183
A.2很优化方法.184
A.2.1无约束优化方法.184
A.2.2约束优化与KKT条件.186
A.2.3二次规划.187
A.3矩阵与微分.188
A.3.1矩阵的基本运算.188
A.3.2矩阵对标量的导数.189
A.3.3矩阵变量函数的导数.190
A.3.4向量函数的导数.191
A.3.5特征值分解和奇异值分解.193
附录B机器学习实验.194
B.1实验报告的格式.194
B.2机器学习实验.195
参考文献.198