机器学习原理及应用

本书全面介绍了机器学习的基础知识和主要技术以及其应用，全书共 10 章，首先对机器学习进行概述，并介绍机器学习的相关算法，如回归算法、分类算法、结构化学习、无监督学习；接着对机器学习聚类算法、深度学习、强化学习等算法原理及实现过程进行了简要介绍，以便于实际应用分析；最后介绍自然语言处理、推荐系统原理，并通过两个案例让读者认识和理解机器学习，实现理论与实践的有机结合。 本书可作为高等院校机器学习相关课程的教材，也可以作为计算机相关专业的课程教材，同时也可以作为从事机器学习相关行业的工作人员的参考用书。

安俊秀，访问学者，硕士生导师。软件自动生成与智能服务四川省重点实验室学术带头人(知识本体和大数据方向)。并行计算与大数据研究所负责人，长期从事数据科学与大数据相关的研究与教学工作，已发表研究领域相关论文40余篇，主编大数据与人工智能方面专著或教材10余部。

第1章 机器学习概述 1 1.1 人工智能概述 1 1.1.1 人工智能发展历程 1 1.1.2 人工智能与机器学习 3 1.2 机器学习的两大学派 5 1.2.1 频率学派 6 1.2.2 贝叶斯学派 6 1.3 机器学习的三要素 7 1.3.1 数据 7 1.3.2 模型 8 1.3.3 算法 9 1.4 机器学习算法的4种类型 9 1.4.1 有监督学习算法 10 1.4.2 无监督学习算法 10 1.4.3 半监督学习算法 11 1.4.4 强化学习算法 12 1.5 机器学习的应用 13 1.5.1 计算机视觉 13 1.5.2 自然语言处理 14 1.5.3 机器人 15 习题 16 第2章 回归算法概述 17 2.1 回归算法简介 17 2.2 线性回归 19 2.2.1 算法原理 19 2.2.2 实现及参数 20 2.3 多元线性回归 24 2.3.1 算法原理 24 2.3.2 实现及参数 25 2.4 正则化回归分析 29 2.4.1 过拟合与正则化 29 2.4.2 岭回归 30 2.4.3 套索回归 32 2.4.4 弹性网络回归 33 2.5 贝叶斯模型 35 2.5.1 贝叶斯方法 35 2.5.2 贝叶斯回归 36 2.6 Softmax回归 40 2.6.1 算法原理 40 2.6.2 实现及参数 41 2.7 项目实践：航班乘客流量预测 44 习题 52 第3章 分类算法概述 53 3.1 分类算法简介 53 3.2 K近邻查询算法 54 3.2.1 算法原理 54 3.2.2 实现及参数 55 3.3 逻辑回归算法 58 3.3.1 算法原理 58 3.3.2 实现及参数 60 3.4 贝叶斯网络与朴素贝叶斯分类器 62 3.4.1 贝叶斯网络 62 3.4.2 朴素贝叶斯分类器 63 3.5 决策树算法 65 3.5.1 算法原理 66 3.5.2 选择最优特征 68 3.6 集成学习算法 69 3.6.1 随机森林算法 70 3.6.2 AdaBoost算法 71 3.7 项目实践：水果分类 73 习题 78 第4章 支持向量机概述 79 4.1 支持向量机简介 79 4.1.1 超平面与线性可分 80 4.1.2 最大化间隔 81 4.2 核函数 81 4.3 多分类处理 84 4.3.1 “1?a?r”方法 84 4.3.2 树形支持向量机多分类方法 85 4.3.3 决策树支持向量机多分类器 85 4.4 结构风险分析 85 4.5 项目实践：猫分类器 86 4.5.1 实践准备 87 4.5.2 训练模型 88 4.5.3 验证模型 90 习题 92 第5章 数据降维概述 93 5.1 数据降维简介 93 5.2 线性降维 94 5.2.1 PCA 94 5.2.2 使用最大投影方差理解PCA 97 5.2.3 使用最小重构代价理解PCA 98 5.2.4 LDA 100 5.3 非线性降维 103 5.3.1 局部线性嵌入 103 5.3.2 拉普拉斯特征映射 104 5.3.3 随机近邻嵌入 107 5.3.4 t分布随机近邻嵌入 108 5.4 自编码器 108 5.5 项目实践：自编码器 114 习题 117 第6章 聚类算法概述 118 6.1 聚类算法简介 118 6.2 基于划分的聚类算法 119 6.2.1 K均值聚类算法 119 6.2.2 EM算法 121 6.3 基于密度的聚类算法 123 6.3.1 DBSCAN算法 123 6.3.2 DPC算法 127 6.4 基于图的聚类算法 129 6.5 项目实践：人脸图像聚类 131 习题 134 第7章 深度学习概述 135 7.1 深度学习简介 135 7.2 感知器 136 7.3 人工神经网络 138 7.4 反向传播算法 139 7.5 常用的深度学习模型 144 7.5.1 CNN 144 7.5.2 RNN 148 7.5.3 GAN 152 7.6 项目实践：图片分类 154 习题 158 第8章 强化学习概述 159 8.1 强化学习简介 159 8.2 马尔可夫决策 161 8.2.1 马尔可夫性质 161 8.2.2 马尔可夫过程 161 8.2.3 马尔可夫决策过程 164 8.2.4 最优价值函数与最优策略 165 8.3 基于免模型的强化学习算法 166 8.3.1 蒙特卡罗算法 166 8.3.2 时序差分算法 167 8.4 强化学习前沿 169 8.4.1 逆向强化学习 169 8.4.2 分层强化学习 170 8.4.3 深度强化学习 171 8.5 项目实践：车杆游戏 172 习题 173 第9章 自然语言处理概述 174 9.1 自然语言处理简介 174 9.2 自然语言处理工具包和语料库 175 9.2.1 自然语言处理工具包 175 9.2.2 语料库 176 9.3 自然语言处理技术分类 177 9.3.1 自然语言处理基础技术分类 177 9.3.2 自然语言处理应用技术分类 179 9.4 Transformer 180 9.4.1 Transformer整体结构 181 9.4.2 自注意力机制 183 9.4.3 Transformer总结 187 9.5 项目实践：新闻文本分类 187 习题 190 第10章 推荐系统概述 191 10.1 推荐系统简介 191 10.1.1 什么是推荐系统 191 10.1.2 个性化推荐系统的应用 191 10.2 协同过滤推荐算法 193 10.2.1 基于用户的协同过滤推荐算法 193 10.2.2 基于物品的协同过滤推荐算法 194 10.3 因子分解机算法 195 10.3.1 FM算法的背景 195 10.3.2 FM算法的优势 195 10.3.3 FM算法的衍生算法 196 10.4 梯度提升决策树算法 196 10.4.1 回归树 196 10.4.2 梯度迭代 196 10.4.3 缩减 198 10.5 评价指标 198 10.5.1 在线评价体系 198 10.5.2 离线评价体系 199 10.6 项目实践：电影推荐系统 201 10.6.1 电影推荐系统的需求分析 201 10.6.2 系统架构的设计 201 10.6.3 推荐系统的实现 202 习题 205 参考文献 206