凸优化理论与算法

凸优化问题是在一个凸的约束可行范围内，很优化（极小化）一个凸的目标函数的一类优化问题。凸优化理论的核心工具是Lagrange对偶，它为凸优化问题的解的很优性，从而为设计有效的凸优化算法提供了保证。近些年，云计算、大数据等研究的兴起和发展为凸优化提供很好的应用，一般而言大量的应用问题都在努力地规约或近似未凸优化问题。这样可以很好地应用凸优化算法，即使问题本身是非凸的。相关的有效应用的案例大大地扩展了凸优化的应用范围，如数据处理、机器学习、经济管理和机器学习等包括计算、分析以及工程研究许多领域。本书将系统地介绍理论基础，凸优化问题，对偶理论，以及凸优化算法设计和应用等。

前言
符号表
第1章 凸集与凸函数 1
1.1 仿射集与凸集 1
1.1.1 仿射集 2
1.1.2 凸集 4
1.2 分离定理与支撑超平面 8
1.3 凸函数及其性质 14
1.4 函数的凸性与闭性 19
1.5 函数的连续性与可微性 26
1.5.1 函数的连续性 26
1.5.2 函数的可微性 34
1.6 共轭函数 37
1.7 凸函数的次微分 42
1.8 强凸函数与严格凸函数 55
第2章 锥 63
2.1 锥与极锥 63
2.2 多面体锥与 Farkas 引理 69
2.3 切锥与法锥 72
2.4 正常锥与广义不等式 74
2.4.1 正常锥与对偶锥 74
2.4.2 广义不等式 76
第3章 优化问题及对偶理论 79
3.1 很优化及凸优化问题 79
3.2 Lagrange 函数 82
3.3 对偶函数 83
3.4 对偶问题 87
3.5 对偶性 89
3.6 Lagrange 鞍点 94
第4章 很优性条件 97
4.1 无约束优化的很优性条件 97
4.2 约束优化的一阶很优性条件 99
4.3 KKT 条件 104
4.4 约束优化的二阶很优性条件 110
4.5 凸优化的很优性条件 114
第5章 凸优化算法 118
5.1 优化算法概述 118
5.1.1 求解无约束优化问题的迭代法框架 119
5.1.2 算法的收敛性及收敛速度 121
5.2 梯度法与次梯度法 122
5.2.1 梯度法 123
5.2.2 次梯度法 126
5.3 投影梯度法与投影次梯度法 130
5.3.1 投影梯度法 130
5.3.2 投影次梯度法 134
5.4 邻近梯度法 138
5.5 牛顿法 146
5.6 拟牛顿法 149
5.6.1 对称秩 -1 拟牛顿法 152
5.6.2 DFP 拟牛顿法 153
5.6.3 BFGS 拟牛顿法 155
5.6.4 有限内存 BFGS 拟牛顿法 158
第6章 加速与高阶算法及正则化 162
6.1 加速邻近梯度法 162
6.1.1 Nesterov 加速法 162
6.1.2 FISTA 算法 168
6.2 正则化牛顿法及其加速 171
6.2.1 正则化牛顿法 171
6.2.2 加速正则化牛顿法 178
6.2.3 自适应正则化牛顿法 185
6.3 张量方法及正则化加速 186
6.3.1 加速正则化张量方法 186
6.3.2 切比雪夫{哈雷方法 188
第7章 在线凸优化算法 193
7.1 在线优化概述 193
7.1.1 在线优化模型 193
7.1.2 在线凸优化的应用 194
7.2 在线算法示例 195
7.2.1 加权占优算法 196
7.2.2 随机加权占优算法 198
7.2.3 Hedge 算法 200
7.3 一阶在线凸优化算法 202
7.3.1 在线投影梯度法 202
7.3.2 投影随机梯度法 206
7.4 在线拟牛顿法 207
7.5 正则化在线凸优化算法 215
7.5.1 正则化函数与 Bregman 散度 215
7.5.2 RFTL 算法 216
参考文献 221