神经网络与机器学习（第三版）

本书共16章, 主要内容包括神经网络的定义、Rosenblatt感知器、回归建模、最小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主成分分析、自组织映射、信息论学习模型、源于统计力学的随机方法、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波、动态驱动递归网络。

第0章 导言 1 0.1 什么是神经网络 1 0.2 人类大脑 4 0.3 神经元模型 6 0.4 视为有向图的神经网络 9 0.5 反馈 11 0.6 网络结构 12 0.7 知识表示 15 0.8 学习过程 21 0.9 学习任务 23 0.10 结语 28 注释和参考文献 28 第1章 Rosenblatt感知器 29 1.1 引言 29 1.2 感知器 29 1.3 感知器收敛定理 30 1.4 高斯环境下感知器与贝叶斯分类器的关系 34 1.5 计算机实验：模式分类 38 1.6 批量感知器算法 40 1.7 小结和讨论 41 注释和参考文献 42 习题 42 第2章 回归建模 43 2.1 引言 43 2.2 线性回归模型：初步考虑 43 2.3 参数向量的最大后验估计 45 2.4 正则化最小二乘估计与MAP估计的关系 48 2.5 计算机实验：模式分类 49 2.6 最小描述长度原理 50 2.7 有限样本量考虑 52 2.8 工具变量法 54 2.9 小结和讨论 56 注释和参考文献 56 习题 56 计算机实验 57 第3章 最小均方算法 58 3.1 引言 58 3.2 LMS算法的滤波结构 58 3.3 无约束优化：回顾 60 3.4 维纳滤波器 64 3.5 最小均方算法 65 3.6 描述LMS算法和维纳滤波器偏差的马尔可夫模型 67 3.7 朗之万方程：布朗运动的特点 67 3.8 库什纳直接平均法 68 3.9 小学习率参数的统计LMS学习理论 69 3.10 计算机实验I：线性预测 71 3.11 计算机实验II：模式分类 72 3.12 LMS算法的优缺点 73 3.13 学习率退火计划 74 3.14 小结和讨论 75 注释和参考文献 76 习题 76 第4章 多层感知器 79 4.1 引言 79 4.2 一些预备知识 80 4.3 批量学习与在线学习 81 4.4 反向传播算法 83 4.5 异或问题 91 4.6 提升反向传播算法性能的启发式算法 92 4.7 计算机实验：模式分类 96 4.8 反向传播和微分 96 4.9 黑塞矩阵及其在在线学习中的作用 99 4.10 学习率的最优退火和自适应控制 101 4.11 泛化 105 4.12 函数逼近 106 4.13 交叉验证 109 4.14 复杂度正则化和网络修剪 112 4.15 反向传播学习的优缺点 116 4.16 作为优化问题的监督学习 119 4.17 卷积网络 129 4.18 非线性滤波 130 4.19 小规模和大规模学习问题 134 4.20 小结和讨论 139 注释和参考文献 140 习题 141 第5章 核方法和径向基函数网络 147 5.1 引言 147 5.2 模式可分性的Cover定理 147 5.3 插值问题 151 5.4 径向基函数网络 152 5.5 K均值聚类 154 5.6 权重向量的递归最小二乘估计 156 5.7 RBF网络的混合学习过程 159 5.8 计算机实验：模式分类 159 5.9 高斯隐藏单元的解释 162 5.10 核回归及其与RBF网络的关系 163 5.11 小结和讨论 166 注释和参考文献 167 习题 169 第6章 支持向量机 172 6.1 引言 172 6.2 线性可分模式的最优超平面 172 6.3 不可分模式的最优超平面 177 6.4 作为核机器的支持向量机 180 6.5 支持向量机的设计 182 6.6 异或问题 183 6.7 计算机实验：模式分类 184 6.8 回归：鲁棒性考虑 187 6.9 线性回归问题的最优解 187 6.10 表示定理和相关问题 190 6.11 小结和讨论 194 注释和参考文献 195 习题 197 第7章 正则化理论 201 7.1 引言 201 7.2 良态Hadamard条件 202 7.3 Tikhonov正则化理论 202 7.4 正则化网络 209 7.5 广义径向基函数网络 210 7.6 再论正则化最小二乘估计 213 7.7 关于正则化的其他说明 215 7.8 正则化参数估计 216 7.9 半监督学习 220 7.10 流形正则化：初步考虑 220 7.11 微分流形 221 7.12 广义正则化理论 224 7.13 谱图理论 225 7.14 广义表示定理 227 7.15 拉普拉斯正则化最小二乘算法 228 7.16 半监督学习模式分类实验 229 7.17 小结和讨论 231 注释和参考文献 232 习题 234 第8章 主成分分析 237 8.1 引言 237 8.2 自组织原则 237 8.3 自组织的特征分析 240 8.4 主成分分析：扰动理论 241 8.5 基于Hebb的最大特征滤波器 247 8.6 基于Hebb的主成分分析 253 8.7 案例研究：图像编码 257 8.8 核主成分分析 259 8.9 自然图像编码中的基本问题 263 8.10 核Hebb算法 264 8.11 小结和讨论 267 注释和参考文献 269 习题 271 第9章 自组织映射 275 9.1 引言 275 9.2 两个基本的特征映射模型 276 9.3 自组织映射 277 9.4 特征映射的性质 282 9.5 计算机实验I：使用SOM求解网格动力学 288 9.6 上下文映射 289 9.7 分层向量量化 291 9.8 核自组织映射 294 9.9 计算机实验II：使用核SOM求解网格动力学 299 9.10 核SOM与KL散度的关系 300 9.11 小结和讨论 301 注释和参考文献 303 习题 304 第10章 信息论学习模型 308 10.1 引言 308 10.2 熵 309 10.3 最大熵原则 311 10.4 互信息 313 10.5 KL散度 315 10.6 Copula函数 316 10.7 作为待优化目标函数的互信息 319 10.8 最大互信息原则 320 10.9 最大互信息与冗余减少 323 10.10 空间相干特征 325 10.11 空间非相干特征 327 10.12 独立成分分析 328 10.13 自然图像的稀疏编码与ICA编码比较 333 10.14 独立成分分析的自然梯度学习 335 10.15 独立成分分析的最大似然估计 341 10.16 盲源分离的最大熵学习 343 10.17 独立成分分析的负熵的最大化 346 10.18 相干独立分量分析 351 10.19 率失真理论和信息瓶颈 357 10.20 数据的最优流形表示 360 10.21 计算机实验：模式分类 364 10.22 小结和讨论 364 注释和参考文献 367 习题 372 第11章 源于统计力学的随机方法 376 11.1 引言 376 11.2 统计力学 376 11.3 马尔可夫链 378 11.4 Metropolis算法 384 11.5 模拟退火 385 11.6 吉布斯采样 387 11.7 玻尔兹曼机 388 11.8 逻辑斯蒂置信网络 392 11.9 深度置信网络 393 11.10 确定性退火 396 11.11 确定性退火和EM算法的类比 399 11.12 小结和讨论 400 注释和参考文献 401 习题 402 第12章 动态规划 406 12.1 引言 406 12.2 马尔可夫决策过程 407 12.3 贝尔曼最优准则 409 12.4 策略迭代 411 12.5 值迭代 412 12.6 逼近动态规划：直接法 416 12.7 时序差分学习 416 12.8 Q学习 420 12.9 逼近动态规划：非直接法 422 12.10 最小二乘策略评估 424 12.11 逼近策略迭代 428 12.12 小结和讨论 430 注释和参考文献 432 习题 433 第13章 神经动力学 436 13.1 引言 436 13.2 动态系统 437 13.3 平衡状态的稳定性 440 13.4 吸引子 444 13.5 神经动力学模型 445 13.6 作为递归网络范式的吸引子操作 447 13.7 Hopfield模型 447 13.8 Cohen-Grossberg定理 456 13.9 盒中脑状态模型 457 13.10 奇异吸引子与混沌 462 13.11 混沌过程的动态重建 465 13.12 小结和讨论 469 注释和参考文献 470 习题 472 第14章 动态系统状态估计的贝叶斯滤波 474 14.1 引言 474 14.2 状态空间模型 474 14.3 卡尔曼滤波器 477 14.4 发散现象和平方根滤波 482 14.5 扩展卡尔曼滤波器 486 14.6 贝叶斯滤波器 489 14.7 容积卡尔曼滤波器：基于卡尔曼滤波器 492 14.8 粒子滤波器 496 14.9 计算机实验：扩展卡尔曼滤波器和粒子滤波器的比较 502 14.10 卡尔曼滤波在大脑功能建模中的应用 504 14.11 小结和讨论 505 注释和参考文献 507 习题 508 第15章 动态驱动递归网络 512 15.1 引言 512 15.2 递归网络结构 512 15.3 通用逼近定理 517 15.4 可控性和可观测性 518 15.5 递归网络的计算能力 521 15.6 学习算法 523 15.7 时间反向传播 524 15.8 实时递归学习 527 15.9 递归网络的梯度消失 531 15.10 利用非线性序列状态估计的递归网络监督训练框架 534 15.11 计算机实验：Mackay-Glass吸引子的动态重建 539 15.12 适应性考虑 540 15.13 案例研究：应用于神经控制的模型参考 542 15.14 小结和讨论 543 注释和参考文献 546 习题 547 参考文献 551