机器学习中的一阶与随机优化方法

本书对优化算法的理论和研究进展进行了系统的梳理，旨在帮助读者快速了解该领域的发展脉络，掌握必要的基础知识，进而推进前沿研究工作。本书首先介绍流行的机器学习模式，对重要的优化理论进行回顾，接着重点讨论已广泛应用于优化的算法，以及有潜力应用于大规模机器学习和数据分析的算法，包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法、算子滑动和分散方法等。本书适合对机器学习、人工智能和数学编程感兴趣的读者阅读参考。

译者序
前言
第1章机器学习模型1
1.1线性回归1
1.2逻辑回归3
1.3广义线性模型5
1.3.1指数分布族5
1.3.2模型构建5
1.4支持向量机8
1.5正则化、Lasso回归和岭回归11
1.6群体风险最小化11
1.7神经网络12
1.8练习和注释14
第2章凸优化理论15
2.1凸集15
2.1.1定义和例子15
2.1.2凸集上的投影16
2.1.3分离定理17
2.2凸函数20
2.2.1定义和例子20
2.2.2可微凸函数21
2.2.3不可微凸函数21
2.2.4凸函数的Lipschitz连续性23
2.2.5凸优化的很优性条件24
2.2.6表示定理与核25
2.3拉格朗日对偶26
2.3.1拉格朗日函数与对偶性26
2.3.2强对偶性的证明27
2.3.3鞍点29
2.3.4Karush-Kuhn-Tucker条件29
2.3.5对偶支持向量机31
2.4Legendre-Fenchel共轭对偶32
2.4.1凸函数的闭包32
2.4.2共轭函数33
2.5练习和注释35
第3章确定性凸优化37
3.1次梯度下降法37
3.1.1一般非光滑凸问题38
3.1.2非光滑强凸问题39
3.1.3光滑凸问题41
3.1.4光滑强凸问题42
3.2镜面下降法43
3.3加速梯度下降法46
3.4加速梯度下降法的博弈论解释50
3.5非光滑问题的光滑方案52
3.6鞍点优化的原始-对偶方法54
3.6.1一般双线性鞍点问题57
3.6.2光滑双线性鞍点问题57
3.6.3光滑强凸双线性鞍点问题58
3.6.4线性约束问题59
3.7乘子交替方向法61
3.8变分不等式的镜面-邻近方法63
3.8.1单调变分不等式64
3.8.2广义单调变分不等式66
3.9加速水平法68
3.9.1非光滑、光滑和弱光滑问题68
3.9.2鞍点问题76
3.10练习和注释81
第4章随机凸优化83
4.1随机镜面下降法83
4.1.1一般非光滑凸函数84
4.1.2光滑凸问题87
4.1.3准确性证书90
4.2随机加速梯度下降法95
4.2.1无强凸性问题100
4.2.2非光滑强凸问题103
4.2.3光滑强凸问题104
4.2.4准确性证书109
4.3随机凹凸鞍点问题111
4.3.1通用算法框架112
4.3.2极小极大随机问题115
4.3.3双线性矩阵博弈117
4.4随机加速原始-对偶方法119
4.4.1加速原始-对偶方法121
4.4.2随机双线性鞍点问题129
4.5随机加速镜面-邻近方法140
4.5.1算法框架141
4.5.2收敛性分析142
4.6随机块镜面下降方法154
4.6.1非光滑凸优化155
4.6.2凸复合优化164
4.7练习和注释171
第5章凸有限和及分布式优化173
5.1随机原始-对偶梯度法173
5.1.1多人共轭空间博弈的重新表述176
5.1.2梯度计算的随机化177
5.1.3强凸问题的收敛性179
5.1.4随机化方法的复杂度下界189
5.1.5对非强凸性问题的推广193
5.2随机梯度外插法197
5.2.1梯度外插方法198
5.2.2确定性有限和问题204
5.2.3随机有限和问题213
5.2.4分布式实现218
5.3降低方差的镜面下降法220
5.3.1无强凸性的光滑问题223
5.3.2光滑和强凸问题225
5.4降低方差加速梯度下降法226
5.4.1无强凸性的光滑问题229
5.4.2光滑和强凸问题233
5.4.3满足错误界条件的问题238
5.5练习和注释240
第6章非凸优化241
6.1无约束非凸随机优化法241
6.1.1随机一阶方法243
6.1.2随机零阶方法251
6.2非凸随机复合优化法260
6.2.1邻近映射的一些性质261
6.2.2非凸镜面下降法263
6.2.3非凸随机镜面下降法264
6.2.4复合问题的随机零阶方法275
6.3非凸随机块镜面下降法279
6.4非凸随机加速梯度下降法286
6.4.1非凸加速梯度下降法287
6.4.2随机加速梯度下降法298
6.5非凸降低方差镜面下降法310
6.5.1确定性问题的基本求解方案310
6.5.2随机优化问题的推广313
6.6随机化加速邻近点方法316
6.6.1非凸有限和问题317
6.6.2非凸多块问题327
6.7练习和注释337
第7章无投影方法338
7.1条件梯度法338
7.1.1经典条件梯度339
……
第8章算子滑动和分散优化387
参考文献453