贝叶斯推理与机器学习

本书全面介绍贝叶斯推理与机器学习，涉及基本概念、理论推导和直观解释，涵盖各种实用的机器学习算法，包括朴素贝叶斯、高斯模型、马尔可夫模型、线性动态系统等。本书在介绍方法的同时，强调概率层面的理论支持，可帮助读者加强对机器学习本质的认识，尤其适合想要学习机器学习中的概率方法的读者。本书首先介绍概率论和图的基础概念，然后以图模型为切入点，用一种统一的框架讲解从基本推断到高阶算法的知识。本书不仅配有BRML工具箱，而且提供大量MATLAB代码实例，将概率模型与编程实践相结合，从而帮助读者更好地理解模型方法。

译者序<br />前言<br />符号表<br />BRML工具箱第一部分　概率模型中的推断第1章　概率推理3　1.1　概率知识复习3<br />　　1.1.1　条件概率5<br />　　1.1.2　概率表7<br />　1.2　概率推理8<br />　1.3　先验、似然与后验14<br />　　1.3.1　两枚骰子：各自的分数是<br />多少15<br />　1.4　总结18<br />　1.5　代码18<br />　　1.5.1　基础概率代码18<br />　　1.5.2　通用工具20<br />　　1.5.3　示例20<br />　1.6　练习题20第2章　图的基础概念23　2.1　图23<br />　2.2　图的数值表示25<br />　　2.2.1　边表25<br />　　2.2.2　邻接矩阵25<br />　　2.2.3　团矩阵26<br />　2.3　总结26<br />　2.4　代码26<br />　　2.4.1　实用程序26<br />　2.5　练习题27第3章　信念网络29　3.1　结构化的优势29<br />　　3.1.1　独立性建模29<br />　　3.1.2　降低说明的负担32<br />　3.2　不确定性和不可靠的证据33<br />　　3.2.1　不确定性证据33<br />　　3.2.2　不可靠证据35<br />　3.3　信念网络36<br />　　3.3.1　条件独立性37<br />　　3.3.2　对撞的影响38<br />　　3.3.3　图路径独立性操作41<br />　　3.3.4　d-分离41<br />　　3.3.5　图和分布的独立性与<br />相关性42<br />　　3.3.6　信念网络中的马尔可夫<br />等价性43<br />　　3.3.7　信念网络的有限表达性43<br />　3.4　因果关系44<br />　　3.4.1　辛普森悖论45<br />　　3.4.2　do算子46<br />　　3.4.3　影响图和do算子47<br />　3.5　总结47<br />　3.6　代码47<br />　　3.6.1　简单的推断演示47<br />　　3.6.2　条件独立性演示48<br />　　3.6.3　实用程序48<br />　3.7　练习题48第4章　图模型52　4.1　图模型简介52<br />　4.2　马尔可夫网络52<br />　　4.2.1　马尔可夫性质54<br />　　4.2.2　马尔可夫随机场55<br />　　4.2.3　Hammersley-Clifford理论55<br />　　4.2.4　使用马尔可夫网络的条件<br />独立性58<br />　　4.2.5　晶格模型58<br />　4.3　链图模型60<br />　4.4　因子图61<br />　　4.4.1　因子图中的条件独立性62<br />　4.5　图模型的表达能力63<br />　4.6　总结65<br />　4.7　代码65<br />　4.8　练习题65第5章　树中的有效推断68　5.1　边缘推断68<br />　　5.1.1　马尔可夫链中的变量消除和<br />消息传递68<br />　　5.1.2　因子图上的和-积算法71<br />　　5.1.3　处理证据74<br />　　5.1.4　计算边缘似然74<br />　　5.1.5　循环问题75<br />　5.2　其他形式的推断75<br />　　5.2.1　最大-积75<br />　　5.2.2　寻找N个最可能的状态78<br />　　5.2.3　最可能的路径和最短的<br />路径79<br />　　5.2.4　混合推断82<br />　5.3　多连通图中的推断82<br />　　5.3.1　桶消元82<br />　　5.3.2　环切条件84<br />　5.4　连续分布中的消息传递84<br />　5.5　总结85<br />　5.6　代码85<br />　　5.6.1　因子图示例86<br />　　5.6.2　最可能和最短路径86<br />　　5.6.3　桶消元86<br />　　5.6.4　基于高斯的消息传递86<br />　5.7　练习题86第6章　联结树算法90　6.1　聚类变量90<br />　　6.1.1　重参数化90<br />　6.2　团图91<br />　　6.2.1　吸收92<br />　　6.2.2　团树上的吸收顺序93<br />　6.3　联结树93<br />　　6.3.1　运行相交性质94<br />　6.4　为单连通分布构建联结树97<br />　　6.4.1　伦理化97<br />　　6.4.2　构建团图97<br />　　6.4.3　根据团图构建联结树97<br />　　6.4.4　为团分配势函数97<br />　6.5　为多连通分布构建联结树98<br />　　6.5.1　三角化算法99<br />　6.6　联结树算法及示例102<br />　　6.6.1　关于联结树算法的备注102<br />　　6.6.2　计算分布的归一化常数103<br />　　6.6.3　边缘似然103<br />　　6.6.4　联结树算法示例104<br />　　6.6.5　Shafer-Shenoy传播105<br />　6.7　寻找最可能的状态106<br />　6.8　重吸收：将联结树转换为有向<br />网络107<br />　6.9　近似的必要性107<br />　　6.9.1　宽度有界联结树108<br />　6.10　总结108<br />　6.11　代码108<br />　　6.11.1　实用程序109<br />　6.12　练习题109第7章　决策111　7.1　期望效用111<br />　　7.1.1　货币效用111<br />　7.2　决策树112<br />　7.3　扩展贝叶斯网络以做出决策114<br />　　7.3.1　影响图的语法114<br />　7.4　求解影响图118<br />　　7.4.1　影响图上的消息119<br />　　7.4.2　使用联结树119<br />　7.5　马尔可夫决策过程122<br />　　7.5.1　利用消息传递来最大化期望<br />效用123<br />　　7.5.2　贝尔曼方程124<br />　7.6　时间无穷的马尔可夫决策过程…　124<br />　　7.6.1　值迭代124<br />　　7.6.2　策略迭代125<br />　　7.6.3　维度灾难126<br />　7.7　变分推断和规划126<br />　7.8　金融事项128<br />　　7.8.1　期权定价和期望效用128<br />　　7.8.2　二项式期权定价模型129<br />　　7.8.3　最优投资130<br />　7.9　进一步的主题132<br />　　7.9.1　部分可观察的MDP132<br />　　7.9.2　强化学习133<br />　7.10　总结135<br />　7.11　代码135<br />　　7.11.1　偏序下的求和/最大化135<br />　　7.11.2　用于影响图的联结树135<br />　　7.11.3　派对-朋友示例136<br />　　7.11.4　胸部诊断136<br />　　7.11.5　马尔可夫决策过程137<br />　7.12　练习题137ⅩⅦ第二部分　学习概率模型第8章　统计机器学习144　8.1　数据的表示144<br />　8.2　分布144<br />　　8.2.1　KL散度148<br />　　8.2.2　熵和信息149<br />　8.3　经典概率分布149<br />　8.4　多元高斯154<br />　　8.4.1　完全平方155<br />　　8.4.2　系统反向的条件156<br />　　8.4.3　美化和居中157<br />　8.5　指数族157<br />　　8.5.1　共轭先验158<br />　8.6　学习分布158<br />　8.7　极大似然的性质160<br />　　8.7.1　假设模型正确时的训练160<br />　　8.7.2　假设模型不正确时的训练…　161<br />　　8.7.3　极大似然和经验分布161<br />　8.8　学习高斯分布161<br />　　8.8.1　极大似然训练161<br />　　8.8.2　均值和方差的贝叶斯推断…　162<br />　　8.8.3　高斯-伽马分布163<br />　8.9　总结165<br />　8.10　代码165<br />　8.11　练习题165第9章　推断学习174　9.1　推断学习简介174<br />　　9.1.1　学习硬币的偏向率174<br />　　9.1.2　做决策176<br />　　9.1.3　连续参数的情况176<br />　　9.1.4　连续间隔下的决策177<br />　9.2　贝叶斯方法和第二类极大<br />似然178<br />　9.3　信念网络的极大似然训练178<br />　9.4　贝叶斯信念网络训练181<br />　　9.4.1　全局和局部参数独立182<br />　　9.4.2　使用Beta先验学习二值<br />变量表183<br />　　9.4.3　使用狄利克雷先验学习<br />多变量离散表185<br />　9.5　学习结构187<br />　　9.5.1　PC算法188<br />　　9.5.2　经验独立190<br />　　9.5.3　网络得分191<br />　　9.5.4　Chow-Liu树193<br />　9.6　无向模型的极大似然195<br />　　9.6.1　似然梯度195<br />　　9.6.2　一般表格团势196<br />　　9.6.3　可分解的马尔可夫网络197<br />　　9.6.4　指数形式的势202<br />　　9.6.5　条件随机场203<br />　　9.6.6　伪似然205<br />　　9.6.7　对结构的学习205<br />　9.7　总结206<br />　9.8　代码206<br />　　9.8.1　使用预言的PC算法206<br />　　9.8.2　经验条件独立性的示例207<br />　　9.8.3　贝叶斯狄利克雷结构学习…　207<br />　9.9　练习题207第10章　朴素贝叶斯210　10.1　朴素贝叶斯和条件独立性210<br />　10.2　使用极大似然进行估计211<br />　　10.2.1　二值特征211<br />　　10.2.2　多状态变量214<br />　　10.2.3　文档分类215<br />　10.3　贝叶斯框架下的朴素贝叶斯…　215<br />　10.4　树增广朴素贝叶斯217<br />　　10.4.1　学习树增广朴素贝叶斯<br />网络217<br />　10.5　总结217<br />　10.6　代码218<br />　10.7　练习题218ⅩⅧ第11章　隐变量学习220　11.1　隐变量和缺失数据220<br />　　11.1.1　为什么隐/缺失变量会使<br />过程复杂化220<br />　　11.1.2　随机缺失假设221<br />　　11.1.3　极大似然222<br />　　11.1.4　可辨别性问题222<br />　11.2　期望最大化223<br />　　11.2.1　变分EM223<br />　　11.2.2　经典EM224<br />　　11.2.3　信念网络中的应用227<br />　　11.2.4　一般情况229<br />　　11.2.5　收敛性232<br />　　11.2.6　马尔可夫网络中的应用…　232<br />　11.3　EM的扩展233<br />　　11.3.1　部分M-步233<br />　　11.3.2　部分E-步233<br />　11.4　EM的失败案例234<br />　11.5　变分贝叶斯235<br />　　11.5.1　EM是一种特殊的变分<br />贝叶斯237<br />　　11.5.2　示例：用于接触石棉-吸烟-<br />患肺癌网络的变分<br />贝叶斯237<br />　11.6　用梯度法优化似然239<br />　　11.6.1　无向模型240<br />　11.7　总结240<br />　11.8　代码240<br />　11.9　练习题241第12章　贝叶斯模型选择243　12.1　用贝叶斯方法比较模型243<br />　12.2　例证：掷硬币243<br />　　12.2.1　离散参数空间244<br />　　12.2.2　连续参数空间245<br />　12.3　奥卡姆剃刀和贝叶斯复杂性<br />惩罚246<br />　12.4　连续情况示例：曲线拟合249<br />　12.5　模型似然近似251<br />　　12.5.1　拉普拉斯法251<br />　　12.5.2　贝叶斯信息准则252<br />　12.6　结果分析的贝叶斯假设检验…　252<br />　　12.6.1　结果分析252<br />　　12.6.2　Hindep：模型似然253<br />　　12.6.3　Hsame：模型似然254<br />　　12.6.4　相关结果分析255<br />　　12.6.5　分类器A比B好吗256<br />　12.7　总结258<br />　12.8　代码258<br />　12.9　练习题258第三部分　机器学习第13章　机器学习的概念262　13.1　机器学习的类型262<br />　　13.1.1　监督学习262<br />　　13.1.2　无监督学习263<br />　　13.1.3　其他学习框架264<br />　13.2　监督学习265<br />　　13.2.1　效用和损失265<br />　　13.2.2　使用经验分布266<br />　　13.2.3　贝叶斯决策方法269<br />　13.3　贝叶斯决策和经验决策的<br />比较273<br />　13.4　总结274<br />　13.5　练习题274第14章　最近邻分类276　14.1　像你的邻居那样做276<br />　14.2　K-最近邻277<br />　14.3　最近邻的概率解释279<br />　14.4　总结280<br />　14.5　代码280<br />　14.6　练习题280第15章　无监督的线性降维282　15.1　高维空间——低维流形282<br />　15.2　主成分分析282<br />　　15.2.1　推导最优线性重构283<br />　　15.2.2　最大方差准则284<br />　　15.2.3　PCA算法285<br />　　15.2.4　PCA和最近邻分类287<br />　　15.2.5　PCA的评价288<br />　15.3　高维数据289<br />　　15.3.1　对于N<D的特征分解…　289<br />　　15.3.2　通过奇异值分解的PCA…　289<br />　15.4　潜在语义分析290<br />　　15.4.1　信息检索292<br />　15.5　带有缺失数据的PCA293<br />　　15.5.1　寻找主方向295<br />　　15.5.2　使用带有缺失数据的PCA<br />协同过滤295<br />　15.6　矩阵分解方法295<br />　　15.6.1　概率潜在语义分析296<br />　　15.6.2　拓展和变化300<br />　　15.6.3　PLSA/NMF的应用301<br />　15.7　核PCA302<br />　15.8　典型相关分析304<br />　　15.8.1　SVD方程305<br />　15.9　总结306<br />　15.10　代码306<br />　15.11　练习题306第16章　有监督的线性降维308　16.1　有监督线性投影308<br />　16.2　Fisher线性判别308<br />　16.3　典型变量310<br />　　16.3.1　处理零空间311<br />　16.4　总结313<br />　16.5　代码313<br />　16.6　练习题313ⅩⅨ第17章　线性模型315　17.1　简介：拟合直线315<br />　17.2　线性参数回归模型316<br />　　17.2.1　向量输出318<br />　　17.2.2　正则化319<br />　　17.2.3　径向基函数319<br />　17.3　对偶表示和核322<br />　　17.3.1　对偶空间中的回归322<br />　17.4　线性参数分类模型323<br />　　17.4.1　逻辑回归324<br />　　17.4.2　超越一阶梯度上升328<br />　　17.4.3　避免分类过拟合328<br />　　17.4.4　多分类328<br />　　17.4.5　分类的核技巧329<br />　17.5　支持向量机330<br />　　17.5.1　最大间隔线性分类器330<br />　　17.5.2　使用核333<br />　　17.5.3　执行优化333<br />　　17.5.4　概率解释333<br />　17.6　异常值的软0-1鲁棒性损失…　334<br />　17.7　总结335<br />　17.8　代码335<br />　17.9　练习题335第18章　贝叶斯线性模型337　18.1　加性高斯噪声回归337<br />　　18.1.1　贝叶斯线性参数模型337<br />　　18.1.2　确定超参数：ML-II339<br />　　18.1.3　使用EM算法学习<br />超参数340<br />　　18.1.4　使用梯度进行超参数<br />优化340<br />　　18.1.5　验证似然函数342<br />　　18.1.6　预测和模型平均343<br />　　18.1.7　稀疏线性模型343<br />　18.2　分类345<br />　　18.2.1　超参数优化345<br />　　18.2.2　拉普拉斯近似346<br />　　18.2.3　变分高斯近似348<br />　　18.2.4　局部变分近似349<br />　　18.2.5　用于分类的相关向量机…　350<br />　　18.2.6　多分类案例351<br />　18.3　总结351<br />　18.4　代码352<br />　18.5　练习题352ⅩⅩ第19章　高斯过程354　19.1　非参数预测354<br />　　19.1.1　从参数化到非参数化354<br />　　19.1.2　从贝叶斯线性模型到<br />高斯过程355<br />　　19.1.3　函数的先验356<br />　19.2　高斯过程预测357<br />　　19.2.1　带有噪声的训练集输出<br />回归358<br />　19.3　协方差函数359<br />　　19.3.1　从旧的协方差函数中构造<br />新的协方差函数359<br />　　19.3.2　平稳协方差函数360<br />　　19.3.3　非平稳协方差函数361<br />　19.4　协方差函数的分析362<br />　　19.4.1　函数的光滑性362<br />　　19.4.2　Mercer核362<br />　　19.4.3　对平稳核的傅里叶分析…　363<br />　19.5　用高斯过程分类364<br />　　19.5.1　二分类364<br />　　19.5.2　拉普拉斯近似365<br />　　19.5.3　超参数优化367<br />　　19.5.4　多分类367<br />　19.6　总结368<br />　19.7　代码368<br />　19.8　练习题368第20章　混合模型371　20.1　使用混合模型估计密度371<br />　20.2　混合模型的期望最大化372<br />　　20.2.1　不受限的离散表373<br />　　20.2.2　伯努利分布乘积的混合<br />模型374<br />　20.3　高斯混合模型377<br />　　20.3.1　EM算法377<br />　　20.3.2　实际问题379<br />　　20.3.3　用高斯混合模型做分类381<br />　　20.3.4　Parzen估计器382<br />　　20.3.5　K-均值383<br />　　20.3.6　贝叶斯混合模型383<br />　　20.3.7　半监督学习384<br />　20.4　混合专家模型384<br />　20.5　指标模型385<br />　　20.5.1　联合指标法：因子分解<br />先验386<br />　　20.5.2　Polya先验386<br />　20.6　混合成员模型387<br />　　20.6.1　潜在狄利克雷分布387<br />　　20.6.2　基于图的数据表示389<br />　　20.6.3　成对数据389<br />　　20.6.4　一元数据390<br />　　20.6.5　一元二值数据的团和邻接<br />矩阵390<br />　20.7　总结394<br />　20.8　代码394<br />　20.9　练习题394第21章　潜线性模型396　21.1　因子分析396<br />　　21.1.1　找到最优偏置398<br />　21.2　因子分析：极大似然398<br />　　21.2.1　特征方法似然优化398<br />　　21.2.2　期望最大化401<br />　21.3　示例：人脸建模402<br />　21.4　概率主成分分析404<br />　21.5　典型相关分析和因子分析406<br />　21.6　独立成分分析407<br />　21.7　总结408<br />　21.8　代码408<br />　21.9　练习题408第22章　潜能力模型410　22.1　Rasch模型410<br />　　22.1.1　极大似然训练410<br />　　22.1.2　贝叶斯Rasch模型411<br />　22.2　竞争模型412<br />　　22.2.1　Bradley-Terry-Luce模型412<br />　　22.2.2　Elo排名模型413<br />　　22.2.3　Glicko和TrueSkill模型413<br />　22.3　总结413<br />　22.4　代码413<br />　22.5　练习题413第四部分　动态模型第23章　离散状态的马尔可夫<br />模型416　23.1　马尔可夫模型416<br />　　23.1.1　马尔可夫链的均衡和平稳<br />分布417<br />　　23.1.2　拟合马尔可夫模型418<br />　　23.1.3　混合马尔可夫模型418<br />　23.2　隐马尔可夫模型420<br />　　23.2.1　经典的推断问题421≈lt;br />　　23.2.2　滤波p(htv1:t)422<br />　　23.2.3　并行平滑p(htv1:T)422<br />　　23.2.4　校正平滑423<br />　　23.2.5　从p(h1:Tv1:T)中抽样424<br />　　23.2.6　最可能的联合状态425<br />　　23.2.7　预测425<br />　　23.2.8　自定位和被绑架的<br />机器人427<br />　　23.2.9　自然语言模型428<br />　23.3　学习HMM429<br />　　23.3.1　EM算法429<br />　　23.3.2　混合输出430<br />　　23.3.3　HMM-GMM模型431<br />　　23.3.4　判别训练431<br />　23.4　相关模型432<br />　　23.4.1　显式持续时间模型432<br />　　23.4.2　输入-输出HMM433<br />　　23.4.3　线性链条件随机场434<br />　　23.4.4　动态贝叶斯网络435<br />　23.5　应用435<br />　　23.5.1　目标跟踪435<br />　　23.5.2　自动语音识别435<br />　　23.5.3　生物信息学436<br />　　23.5.4　词性标注436<br />　23.6　总结436<br />　23.7　代码437<br />　23.8　练习题437ⅩⅩⅠ第24章　连续状态的马尔可夫<br />模型442　24.1　观察到的线性动态系统442<br />　　24.1.1　带噪声的平稳分布443<br />　24.2　自回归模型443<br />　　24.2.1　AR模型的训练444<br />　　24.2.2　作为OLDS的AR模型…　445<br />　　24.2.3　时变AR模型445<br />　　24.2.4　时变方差AR模型447<br />　24.3　潜线性动态系统448<br />　24.4　推断449<br />　　24.4.1　滤波450<br />　　24.4.2　平滑:Rauch-Tung-Striebel<br />校正方法452<br />　　24.4.3　似然453<br />　　24.4.4　最可能的状态454<br />　　24.4.5　时间独立性和Riccati<br />方程454<br />　24.5　学习LDS456<br />　　24.5.1　可识别性问题456<br />　　24.5.2　EM算法456<br />　　24.5.3　子空间方法457<br />　　24.5.4　结构化LDS458<br />　　24.5.5　贝叶斯LDS458<br />　24.6　转换AR模型458<br />　　24.6.1　推断459<br />　　24.6.2　采用EM学习极大似然…　459<br />　24.7　总结461<br />　24.8　代码461<br />　　24.8.1　AR模型461<br />　24.9　练习题462第25章　转换线性动态系统464　25.1　简介464<br />　25.2　转换线性动态系统简介464<br />　　25.2.1　精确推断在计算上<br />不可行465<br />　25.3　高斯和滤波465<br />　　25.3.1　连续滤波466<br />　　25.3.2　离散滤波467<br />　　25.3.3　似然p(？瘙經1:T)469<br />　　25.3.4　高斯退化469<br />　　25.3.5　与其他方法的关系469<br />　25.4　高斯和平滑470<br />　　25.4.1　连续平滑471<br />　　25.4.2　离散平滑471<br />　　25.4.3　退化高斯混合471<br />　　25.4.4　混合分布平滑472<br />　　25.4.5　与其他方法的关系473<br />ⅩⅩⅡ　25.5　重置模型476<br />　　25.5.1　泊松重置模型478<br />　　25.5.2　重置模型-隐马尔可夫<br />模型-线性动态系统479<br />　25.6　总结480<br />　25.7　代码480<br />　25.8　练习题480第26章　分布式计算483　26.1　简介483<br />　26.2　随机Hopfield网络483<br />　26.3　序列学习484<br />　　26.3.1　单个序列484<br />　　26.3.2　多个序列489<br />　　26.3.3　布尔网络489<br />　　26.3.4　序列消歧490<br />　26.4　易处理的连续潜变量模型490<br />　　26.4.1　确定性潜变量490<br />　　26.4.2　增广Hopfield网络491<br />　26.5　神经模型492<br />　　26.5.1　随机激发神经元492<br />　　26.5.2　Hopfield膜电位493<br />　　26.5.3　动态突触493<br />　　26.5.4　抑制和激活模型494<br />　26.6　总结494<br />　26.7　代码495<br />　26.8　练习题495第五部分　近似推断第27章　抽样498　27.1　简介498<br />　　27.1.1　单变量抽样499<br />　　27.1.2　拒绝抽样500<br />　　27.1.3　多变量抽样501<br />　27.2　祖先抽样502<br />　　27.2.1　有证据时的情况503<br />　27.3　吉布斯抽样504<br />　　27.3.1　作为马尔可夫链的吉布斯<br />抽样504<br />　　27.3.2　结构化吉布斯抽样505<br />　　27.3.3　备注506<br />　27.4　马尔可夫链蒙特卡罗507<br />　　27.4.1　马尔可夫链507<br />　　27.4.2　Metropolis-Hastings抽样…　508<br />　27.5　辅助变量法510<br />　　27.5.1　混合蒙特卡罗510<br />　　27.5.2　Swendson-Wang法512<br />　　27.5.3　切片抽样514<br />　27.6　重要性抽样516<br />　　27.6.1　序列重要性抽样517<br />　　27.6.2　将粒子滤波作为近似前向<br />传播518<br />　27.7　总结521<br />　27.8　代码521<br />　27.9　练习题521第28章　确定性近似推断525　28.1　简介525<br />　28.2　拉普拉斯近似525<br />　28.3　KL变分推断的性质526<br />　　28.3.1　归一化常数的界526<br />　　28.3.2　边缘分布的界526<br />　　28.3.3　边缘量的界527<br />　　28.3.4　使用KL散度做高斯<br />近似527<br />　　28.3.5　最小化KL(pq)的边缘和<br />矩匹配性质528<br />　28.4　用KL(qp)求解变分界528<br />　　28.4.1　配对马尔可夫随机场528<br />　　28.4.2　一般的平均场方程532<br />　　28.4.3　异步更新能保证近似<br />效果的提升532<br />　　28.4.4　结构化的变分近似533<br />　28.5　局部和KL变分近似535<br />　　28.5.1　局部近似536<br />　　28.5.2　KL变分近似536<br />　28.6　互信息最大化：KL变分<br />方法537<br />　　28.6.1　互信息最大化算法538<br />　　28.6.2　线性高斯解码器539<br />　28.7　环信念传播539<br />　　28.7.1　在无向图中的经典BP<br />算法540<br />　　28.7.2　作为变分过程的环信念<br />传播540<br />　28.8　期望传播544<br />　28.9　马尔可夫网络的MAP547<br />　　28.9.1　配对马尔可夫网络548<br />　　28.9.2　值得关注的二元马尔可夫<br />网络548<br />　　28.9.3　Potts模型550<br />　28.10　扩展阅读552<br />　28.11　总结552<br />　28.12　代码552<br />　28.13　练习题552附录　数学基础556参考文献573ⅩⅩⅢ