机器学习中的加速一阶优化算法

本书以介绍机器学习中的优化算法为主要内容，以当前机器学习会议的热门话题加速算法为主线，涵盖机器学习中常用的凸优化、非凸优化，以及随机优化和分布式优化。

推荐序一 <br/>推荐序二 <br/>推荐序三 <br/>中文版前言 <br/>英文版前言 <br/>致谢 <br/>作者介绍 <br/>符号表 <br/>第 1 章 绪论 1 <br/>1.1 机器学习中的优化问题举例 1 <br/>1.1.1 正则化的经验损失模型 1 <br/>1.1.2 矩阵填充及低秩学习模型 3 <br/>1.2 一阶优化算法 3 <br/>1.3 加速算法中的代表性工作综述 4 <br/>1.4 关于本书 7 <br/>参考文献 7 <br/>第 2 章 无约束凸优化中的加速算法 14 <br/>2.1 梯度下降法 14 <br/>2.2 重球法 15 <br/>2.3 加速梯度法 16 <br/>2.4 求解复合凸优化问题的加速梯度法 23 <br/>2.4.1 第一种 Nesterov 加速邻近梯度法 23<br/>2.4.2 第二种 Nesterov 加速邻近梯度法 27 <br/>2.4.3 第三种 Nesterov 加速邻近梯度法 31 <br/>2.5 非精确加速邻近梯度法 33 <br/>2.5.1 非精确加速梯度法 42 <br/>2.5.2 非精确加速邻近点法 42 <br/>2.6 重启策略 43 <br/>2.7 平滑策略 45 <br/>2.8 高阶加速方法 50 <br/>2.9 从变分的角度解释加速现象 55 <br/>参考文献 60 <br/>第 3 章 带约束凸优化中的加速算法 63 <br/>3.1 线性等式约束问题的一些有用结论 63 <br/>3.2 加速罚函数法 66 <br/>3.2.1 一般凸目标函数 71 <br/>3.2.2 强凸目标函数 71 <br/>3.3 加速拉格朗日乘子法 72 <br/>3.3.1 原始问题的解 74 <br/>3.3.2 加速增广拉格朗日乘子法 76 <br/>3.4 交替方向乘子法及非遍历意义下的加速算法 77 <br/>3.4.1 情形 1：一般凸和非光滑目标函数 82 <br/>3.4.2 情形 2：强凸非光滑目标函数 83 <br/>3.4.3 情形 3：一般凸和光滑目标函数 85 <br/>3.4.4 情形 4：强凸和光滑目标函数 87 <br/>3.4.5 非遍历意义收敛速度 88 <br/>3.5 原始–对偶算法 98 <br/>3.5.1 情形 1：两个函数均非强凸 100 <br/>3.5.2 情形 2：只有一个函数强凸 101 <br/>3.5.3 情形 3：两个函数均强凸 103 <br/>3.6 Frank-Wolfe 算法 104 <br/>参考文献 108<br/>第 4 章 非凸优化中的加速梯度算法 112 <br/>4.1 带冲量的邻近梯度法 112 <br/>4.1.1 收敛性理论 113 <br/>4.1.2 单调加速邻近梯度法 120 <br/>4.2 快速收敛到临界点 120 <br/>4.2.1 能够检测强凸性质的 AGD 121 <br/>4.2.2 负曲率下降算法 123 <br/>4.2.3 非凸加速算法 125 <br/>4.3 快速逃离鞍点 128 <br/>4.3.1 几乎凸的情形 128 <br/>4.3.2 完全非凸情形 130 <br/>4.3.3 非凸加速梯度下降法 131 <br/>参考文献 136 <br/>第 5 章 加速随机算法 138 <br/>5.1 各自凸情况 139 <br/>5.1.1 加速随机坐标下降算法 140 <br/>5.1.2 方差缩减技巧基础算法 147 <br/>5.1.3 加速随机方差缩减方法 152 <br/>5.1.4 黑盒加速算法 158 <br/>5.2 各自非凸情况 160 <br/>5.3 非凸情况 166 <br/>5.3.1 随机路径积分差分估计子 167 <br/>5.3.2 冲量加速 173 <br/>5.4 带约束问题 174 <br/>5.5 无穷情况 197 <br/>参考文献 200 <br/>第 6 章 加速并行算法 202 <br/>6.1 加速异步算法 202 <br/>6.1.1 异步加速梯度下降算法 203 <br/>6.1.2 异步加速随机坐标下降算法 215<br/>6.2 加速分布式算法 227 <br/>6.2.1 中心化模式 227 <br/>6.2.2 去中心化模式 232 <br/>参考文献 243 <br/>第 7 章 总结 246 <br/>参考文献 247 <br/>附录 A 数学基础 249 <br/>A.1 代数与概率 249 <br/>A.2 凸分析 250 <br/>A.3 非凸分析 257 <br/>参考文献 259 <br/>缩略语表 260 <br/>索引 262