机器学习与推理

在人工智能与控制科学 产生深度交叉融合的背景下 ，本书对机器学习和模型推 理的经典算法和前沿理论知 识进行深度剖析和全面梳理 ，形成具有理论深度和知识 广度的参考资料，旨在支撑 “智能科学与技术”和“控制 科学与工程”两个一级学科 的建设和发展。 本书的主要内容分成两 篇。第一篇主要介绍机器学 习的主要理论和方法，包括 统计决策方法、监督学习方 法、无监督学习方法、深度 学习方法和近似推理方法。 除了总结经典算法之外，第 一篇还介绍了最新的集成学 习方法（如迁移学习、终身 学习和元学习）和深度学习 方法（如图神经网络、深度 信念网络和深度生成网络） ，使学生能够掌握机器学习 专业方向的前沿理论知识。 第二篇主要介绍模型推理的 主要理论与方法，包括静态 统计模型、概率图模型、马 尔可夫模型以及马尔可夫决 策过程。在模型知识的驱动 下，第二篇聚焦控制领域的 状态估计、系统辨识和马尔 可夫决策，形成更具理论深 度的高层次学习内容。为了 帮助读者掌握核心内容和知 识点，每章都配备了习题和 主要参考文献，附录提供了 本书学习的必备基础知识。 本书前半部分的知识点 相对容易，适合本科教学； 后半部分的知识点对矩阵分 析和随机过程等数学知识要 求较高，适合研究生教学。 本书也是机器学习、模式识 别和系统辨识等专业研究生 科研的重要参考资料。

\"俞成浦，北京理工大学教授、博士生导师。长期从事系统建模和控制方面的教学与研究，讲授“机器学习基础”“模式识别”等课程。发表一作SCI论文20余篇，其中ESI热点论文2篇。主持国家基金委重大项目课题、国家重点研发计划课题和基金委面上基金。完成国家高层次海外人才青年项目和十三五装备预研项目。获教育部自然科学一等奖和中国自动化学会自然科学一等奖。出版专著2部。 陈文颉，北京理工大学副教授、硕士生导师。长期从事深度学习、目标检测与识别方面的教学和研究工作，讲授“模式识别”“电磁兼容技术”等课程。发表论文50余篇，授权专利20余项。承担装备型号项目、国防研究项目和自然科学基金。获国家科技进步奖2项。出版教材1部。 邓方，北京理工大学教授、博士生导师。长期从事自主智能群系统、可穿戴泛在系统等方面教学与研究，讲授“控制系统的故障诊断与容错控制”“智能计算与信息处理”等课程。发表学术论文140余篇，授权发明专利108项。承担国家自科基金重点项目、科技创新2030重大项目等项目多项。获中国青年科技奖、北京市科技奖杰出青年中关村奖、国家科技进步奖二等奖、日内瓦国际发明展金奖、国家教学成果二等奖、北京市教学成果一、二等奖、IEEE TSMCS最佳副主编奖等。出版专著、教材各1部。 \"

第1章 绪论 1.1 人工智能发展 1.2 机器学习 1.2.1 机器学习概念 1.2.2 机器学习方法 1.2.3 机器学习分类 1.3 模型推理 1.3.1 模型分类 1.3.2 模型推理概念 1.3.3 模型推理方法 1.4 应用例子 1.5 内容安排 习题 第一篇 机器学习 第2章 统计决策方法 2.1 贝叶斯决策 2.1.1 最小错误率贝叶斯决策 2.1.2 最小风险贝叶斯决策 2.1.3 Neyman-Pearson决策 2.1.4 贝叶斯决策规则比较 2.1.5 正态分布统计决策 2.2 概率密度函数估计 2.2.1 参数估计——极大似然法 2.2.2 参数估计——最大后验法 2.2.3 参数估计——贝叶斯方法 2.2.4 概率密度函数估计——贝叶斯学习 2.2.5 非参数概率密度函数估计——k近邻法 2.2.6 非参数概率密度函数估计——Parzen窗法 习题 第3章 监督学习方法 3.1 最小二乘法 3.1.1 线性回归 3.1.2 逻辑回归 3.1.3 均方误差估计 3.2 支持向量机 3.2.1 标准支持向量机 3.2.2 软间隔与正则化 3.2.3 支持向量回归 3.3 核方法与正则化 3.3.1 广义线性模型 3.3.2 核支持向量机 3.3.3 正则化理论 3.4 神经网络 3.4.1 感知器 3.4.2 神经网络结构 3.4.3 反向传播算法 3.5 复合学习方法 3.5.1 集成学习 3.5.2 多任务学习 3.5.3 迁移学习