统计机器学习

本书主要介绍由一组核心定理支撑的统计机器学习框架，书中通过相关机器学习案例帮助学生理解框架中的核心定理。对于实践型的专业工程师和科学家来说，本书可以帮助他们验证确保许多常用的确定性和随机机器学习优化算法收敛的充分条件，以及正确使用常用的统计工具来表征抽样误差和泛化性能。此外，由于本书包含大量示例，机器学习课程的教师以及从事机器学习应用的研究人员也会发现本书非常有用。 本书的读者需要具备统计学、计算机科学、电子工程或应用数学方面的基本知识。全书共分为四部分： ?第一部分包含第1~3章，通过实例介绍机器学习算法概念和描述算法的数学工具； ?第二部分包含第4~7章，讨论确定性学习机的渐近行为； ?第三部分包含第8~12章，讨论随机推理机和随机学习机的渐近行为； ?第四部分包含第13~16章，关注机器学习算法的泛化性能表征问题。

Richard M. Golden是得克萨斯大学达拉斯分校认知科学教授，并兼任该校电子工程系教授。在过去三十年间，戈尔登教授在统计学与机器学习领域发表了大量学术论文，并在国际学术会议上就广泛议题发表演讲。他的长期研究兴趣包括：确立确定性及随机性机器学习算法的收敛条件，以及探究存在概率模型误设情况下的估计与推断问题。

目　　录<br />译者序<br />前言第一部分　推理机与学习机第1章　统计机器学习框架2<br />　1.1　统计机器学习：概述2<br />　1.2　机器学习环境3<br />1.2.1　特征向量3<br />1.2.2　平稳统计环境5<br />1.2.3　机器学习算法的训练<br />策略6<br />1.2.4　先验知识6<br />　1.3　经验风险最小化框架8<br />1.3.1　ANN图形符号8<br />1.3.2　风险函数9<br />1.3.3　正则化项10<br />1.3.4　优化方法11<br />　1.4　基于理论的系统分析和设计13<br />1.4.1　第一阶段：系统规范13<br />1.4.2　第二阶段：理论分析14<br />1.4.3　第三阶段：具体实施14<br />1.4.4　第四阶段：系统行为<br />评估14<br />　1.5　监督学习机16<br />1.5.1　差异函数16<br />1.5.2　基函数与隐单元18<br />1.5.3　循环神经网络22<br />　1.6　无监督学习机25<br />　1.7　强化学习机34<br />1.7.1　强化学习概述35<br />1.7.2　值函数被动式强化学习37<br />1.7.3　策略梯度反应式强化<br />学习39<br />　1.8　扩展阅读43第2章　概念建模的集合论46<br />　2.1　集合论与逻辑学48<br />　2.2　关系49<br />2.2.1　关系类型49<br />2.2.2　有向图50<br />2.2.3　无向图51<br />　2.3　函数52<br />　2.4　度量空间53<br />　2.5　扩展阅读57第3章　形式化机器学习算法58<br />　3.1　环境模型58<br />3.1.1　时间环境58<br />3.1.2　事件环境59<br />　3.2　学习机模型60<br />3.2.1　动态系统60<br />3.2.2　迭代映射61<br />3.2.3　向量场63<br />　3.3　智能机模型64<br />　3.4　扩展阅读67第二部分　确定性学习机第4章　机器学习的线性代数70<br />　4.1　矩阵符号与运算符70<br />　4.2　线性子空间投影定理75<br />　4.3　线性方程组解定理79<br />　4.4　扩展阅读82第5章　机器学习的矩阵<br />微积分83<br />　5.1　收敛性和连续性83<br />5.1.1　确定性收敛83<br />5.1.2　连续函数87<br />　5.2　向量导数91<br />5.2.1　向量导数的定义91<br />5.2.2　矩阵导数计算定理92<br />5.2.3　深度学习的有效导数<br />计算94<br />5.2.4　深度学习的梯度反向<br />传播98<br />　5.3　目标函数分析101<br />5.3.1　泰勒级数展开101<br />5.3.2　梯度下降型算法102<br />5.3.3　临界点分类104<br />5.3.4　拉格朗日乘数110<br />　5.4　扩展阅读120第6章　时不变动态系统<br />收敛性122<br />　6.1　动态系统存在性定理122<br />　6.2　不变集124<br />　6.3　李雅普诺夫收敛定理126<br />6.3.1　李雅普诺夫函数126<br />6.3.2　不变集定理127<br />　6.4　扩展阅读134第7章　批量学习算法收敛性135<br />　7.1　搜索方向和步长选择135<br />7.1.1　搜索方向选择135<br />7.1.2　步长选择137<br />　7.2　下降算法收敛性分析141<br />　7.3　下降策略145<br />7.3.1　梯度和最速下降145<br />7.3.2　牛顿式下降146<br />7.3.3　L-BFGS与共轭梯度<br />下降法149<br />　7.4　扩展阅读151第三部分　随机学习机第8章　随机向量与随机函数154<br />　8.1　概率空间155<br />8.1.1　σ域155<br />8.1.2　测度156<br />　8.2　随机向量158<br />8.2.1　可测函数158<br />8.2.2　离散随机向量、连续随机<br />向量与混合随机向量161<br />　8.3　Radon-Nikodm密度存在性<br />（选读）164<br />8.3.1　勒贝格积分164<br />8.3.2　Radon-Nikodm密度<br />函数166<br />8.3.3　向量支集规范测度166<br />　8.4　期望运算168<br />8.4.1　随机函数170<br />8.4.2　随机函数的期望170<br />8.4.3　条件期望和独立性172<br />　8.5　浓度不等式174<br />　8.6　扩展阅读176第9章　随机序列177<br />　9.1　随机序列的类型177<br />　9.2　部分可观测随机序列179<br />　9.3　随机收敛181<br />9.3.1　以概率1收敛182<br />9.3.2　均方收敛184<br />9.3.3　依概率收敛185<br />9.3.4　依分布收敛185<br />9.3.5　随机收敛关系186<br />　9.4　随机序列的组合与变换188<br />　9.5　扩展阅读190第10章　数据生成概率模型192<br />　10.1　概率模型的可学习性192<br />10.1.1　正确模型和误判<br />模型192<br />10.1.2　平滑参数概率模型195<br />10.1.3　局部概率模型195<br />10.1.4　缺失数据概率模型196<br />　10.2　吉布斯概率模型197<br />　10.3　贝叶斯网络201<br />10.3.1　链式因式分解202<br />10.3.2　贝叶斯网络因式<br />分解202<br />　10.4　马尔可夫随机场205<br />10.4.1　马尔可夫随机场<br />概念206<br />10.4.2　吉布斯分布的马尔可夫<br />随机场含义208<br />　10.5　扩展阅读216第11章　蒙特卡罗马尔可夫链算法<br />收敛性217<br />　11.1　MCMC算法218<br />11.1.1　有限状态空间上的可数<br />无限一阶链218<br />11.1.2　MCMC收敛性分析220<br />11.1.3　混合MCMC算法221<br />11.1.4　寻找全局极小值点及<br />计算期望223<br />11.1.5　MCMC收敛性能的<br />评估与改进224<br />　11.2　Metropolis-Hastings MCMC<br />算法227<br />11.2.1　Metropolis-Hastings<br />算法定义227<br />11.2.2　Metropolis-Hastings<br />算法的收敛性分析229<br />11.2.3　Metropolis-Hastings<br />算法的重要特例230<br />11.2.4　Metropolis-Hastings<br />算法在机器学习中的<br />应用232<br />　11.3　扩展阅读235第12章　适应性学习算法的<br />收敛性236<br />　12.1　随机逼近理论236<br />12.1.1　被动式统计环境与<br />反应式统计环境236<br />12.1.2　平均下降237<br />12.1.3　退火策略238<br />12.1.4　主随机逼近定理239<br />12.1.5　随机逼近算法收敛性<br />评估244<br />　12.2　基于随机逼近的被动式统计<br />环境学习246<br />12.2.1　不同优化策略应用246<br />12.2.2　提高泛化性能250<br />　12.3　基于随机逼近的反应式统计<br />环境学习254<br />12.3.1　策略梯度强化学习254<br />12.3.2　随机逼近期望<br />最大化257<br />12.3.3　马尔可夫随机场学习<br />（对比散度）259<br />12.3.4　生成式对抗网络<br />学习260<br />　12.4　扩展阅读261第四部分　泛化性能第13章　统计学习目标函数<br />设计264<br />　13.1　经验风险函数265<br />　13.2　最大似然估计法271<br />13.2.1　最大似然估计：概率论<br />解释271<br />13.2.2　最大似然估计：信息论<br />解释276<br />13.2.3　交叉熵全局极小值点<br />性质280<br />13.2.4　伪似然经验风险<br />函数282<br />13.2.5　缺失数据似然经验风险<br />函数283<br />　13.3　最大后验估计方法285<br />13.3.1　参数先验与超参数286<br />13.3.2　最大后验风险函数287<br />13.3.3　最大后验估计的贝叶斯<br />风险解释289<br />　13.4　扩展阅读291第14章　泛化评估模拟方法293<br />　14.1　采样分布概念295<br />14.1.1　K折交叉验证295<br />14.1.2　无穷数据的采样分布<br />估计296<br />　14.2　采样分布模拟的bootstrap<br />方法297<br />14.2.1　采样分布的bootstrap<br />近似298<br />14.2.2　蒙特卡罗bootstrap<br />采样分布估计299<br />　14.3　扩展阅读305第15章　评估泛化的解析公式306<br />　15.1　渐近分析假设306<br />　15.2　理论采样分布分析311<br />　15.3　置信区间317<br />　15.4　模型比较决策的假设检验321<br />15.4.1　经典假设检验321<br />15.4.2　贝叶斯假设检验324<br />　15.5　扩展阅读326第16章　模型选择与评估328<br />　16.1　交叉验证风险MSC329<br />　16.2　贝叶斯风险MSC334<br />16.2.1　贝叶斯模型选择<br />问题334<br />16.2.2　多维积分的拉普拉斯<br />逼近法335<br />16.2.3　贝叶斯信息准则336<br />　16.3　误判检测MSC340<br />16.3.1　评估模型误判的嵌套<br />模型方法340<br />16.3.2　信息矩阵差异MSC341<br />　16.4　扩展阅读344参考文献346