机器学习中的交替方向乘子法

使用机器学习技术解决实际应用问题涉及模型的建立、训练及评估等步骤。优化算法常被用于训练模型的参数，是机器学习的重要组成部分。机器学习模型的训练可以建模成无约束优化问题或带约束优化问题，约束可以为模型增加更多的先验知识。基于梯度的算法（例如加速梯度法、随机梯度法等）是求解无约束优化问题的常用方法，而交替方向乘子法（ADMM）则是求解带约束优化问题的有力工具。
本书概述了机器学习中ADMM的新进展。书中全面介绍了各种情形下的ADMM，包括确定性和随机性的算法、集中式和分布式的算法，以及求解凸问题和非凸问题的算法，深入介绍了各个算法的核心思想，并为算法的收敛性和收敛速度提供了详细的证明。
本书面向机器学习和优化领域的研究人员，也包括人工智能、信号处理、自动控制、网络通信、应用数学等专业的高年级本科生和研究生，以及从事相关领域产品研发的工程师。

《大数据与数据科学专著系列》序
序一
序二
前言
符号表
第1章绪论1
1.1机器学习中的带约束优化问题举例1
1.2ADMM的代表性工作综述3
1.3关于本书5
第2章ADMM的推导6
2.1从拉格朗日视角推导ADMM6
2.1.1对偶上升法6
2.1.2增广拉格朗日法7
2.1.3交替方向乘子法（ADMM）10
2.1.4与分裂布雷格曼算法的联系11
2.2从算子分裂视角推导ADMM13
2.2.1Douglas-Rachford分裂（DRS）13
2.2.2从DRS到ADMM15
第3章确定性凸优化问题中的ADMM18
3.1经典ADMM18
3.1.1收敛性分析18
3.1.2次线性收敛速度23
3.1.3线性收敛速度27
3.2布雷格曼ADMM31
3.2.1次线性收敛速度35
3.2.2线性收敛速度41
3.3加速线性化ADMM45
3.3.1次线性收敛速度45
3.3.2线性收敛速度63
3.4特例：线性化增广拉格朗日算法及其加速70
3.5多变量块ADMM73
3.5.1使用高斯回代的ADMM74
3.5.2使用预测-校正的ADMM78
3.5.3使用并行分裂的线性化ADMM81
3.5.4结合串行与并行更新83
3.6变分不等式视角下的ADMM84
3.6.1统一的变分不等式框架86
3.6.2统一的收敛速度分析89
3.7非线性约束问题90
第4章确定性非凸优化问题中的ADMM97
4.1多变量块布雷格曼ADMM97
4.1.1满射条件下的收敛性分析98
4.1.2对目标函数做更多假设下的收敛性分析102
4.2使用指数平均的邻近ADMM106
4.3多线性约束优化问题的ADMM118
第5章随机优化问题中的ADMM124
5.1随机ADMM125
5.2方差缩减132
5.3冲量加速142
5.4非凸随机ADMM及其加速167
5.4.1非凸随机ADMM167
5.4.2SPIDER加速172
第6章分布式优化问题中的ADMM181
6.1中心化优化181
6.1.1ADMM181
6.1.2线性化ADMM183
6.1.3加速线性化ADMM185
6.2去中心化优化187
6.2.1ADMM187
6.2.2线性化ADMM193
6.2.3加速线性化ADMM194
6.3异步分布式ADMM196
6.3.1收敛性分析197
6.3.2线性收敛速度203
6.4非凸分布式ADMM209
6.5求解一般线性约束问题的分布式ADMM210
第7章实践中的问题和总结212
7.1实践中的问题212
7.1.1停止条件212
7.1.2惩罚系数的选择213
7.1.3避免过多的辅助变量215
7.1.4非准确求解子问题215
7.1.5其他考虑216
7.2总结216
参考文献217
附录A数学基础224
A.1代数与概率224
A.2凸分析225
A.3非凸分析231
缩略语233
索引234
后记237
致谢238
《大数据与数据科学专著系列》已出版书目239