数据科学优化方法（数据科学与大数据技术丛书）

首先，本书在内容选择上坚持“经典”与“前沿”并重。一方面，系统全面地讲述了无约束和有约束最优化问题的常用求解方法，包括负梯度方法、牛顿方法、拟牛顿方法、共轭梯度方法、罚函数方法等。另一方面，加入近几年在数据科学领域受到广泛关注的一些新型一阶最优化方法，例如随机梯度下降方法、小批量随机梯度下降、动量方法、Nesterov加速梯度方法、Adam方法等。特别地，本书着重讲述了在数据科学中广泛使用的正则最优化问题，并介绍其求解方法，包括坐标下降方法、近端方法和交替方向乘子方法。
其次，本书注重理论和实践相结合。主要的最优化方法均配有详细例子加以解释和阐述，并在章的最后一节进行数值实验，通过几个典型的最优化问题展示最优化方法的实际数值表现，有助于读者对方法性能建立起直观感受。

孙怡帆，中国人民大学统计学院教授，博士生导师，数理统计系系主任，全国工业统计学教学研究会常务理事，中国统计教育学会理事。主要从事高维数据分析、分布式计算理论和方法领域研究，以主要作者身份在Statistics in Medicine、Briefing in Bioinformatics、Physical Review X等国际知名学术期刊公开发表论文30余篇，参与编写教材 《非结构化大数据分析》 。主持国家自然基金、教育部人文社科等省部级科研课题8项，曾获北京市高等教育教学成果一等奖、北京市高校本科毕业论文优秀指导教师等多项省部级教学奖励。

第 1 章 导 论
1.1 本书考虑的最优化问题
1.2 优化方法的特点和要求
1.3 本书主要内容
第 2 章 无约束优化方法基础
2.1 最优性条件
2.2 方法框架
2.3 收敛准则
第 2 章习题
第 3 章 线搜索方法
3.1 精确线搜索方法
3.2 精确线搜索方法的收敛性
3.3 非精确线搜索方法
3.4 非精确线搜索方法的收敛性
第 3 章习题
第 4 章 负梯度方法
4.1 梯度下降方法
4.2 最速下降方法
4.3 梯度下降方法的变体
4.4 梯度下降方法的改进
4.5 数值实验
第 4 章习题
第 5 章 牛顿方法
5.1 基本牛顿方法
5.2 基本牛顿方法的改进
5.3 牛顿方法在非线性最小二乘问题中的应用
5.4 数值实验
第 5 章习题
第 6 章 拟牛顿方法
6.1 拟牛顿条件
6.2 对称秩 1 方法
6.3 DFP 方法
6.4 BFGS 方法
6.5 Broyden 族方法
6.6 拟牛顿方法的收敛性及收敛速度
6.7 L-BFGS 方法
6.8 数值实验
第 6 章习题
第 7 章 共轭梯度方法
7.1 共轭方向方法
7.2 针对正定二次函数的共轭梯度方法
7.3 非线性共轭梯度方法
7.4 数值实验
第 7 章习题
第 8 章 约束最优化问题的最优性理论
8.1 约束最优化问题的一般形式和定义
8.2 约束最优化问题的一阶最优性条件
8.3 约束最优化问题的二阶最优性条件
8.4 约束最优化的对偶问题
第 8 章习题
第 9 章 罚函数方法
9.1 二次罚函数方法
9.2 障碍函数方法
9.3 增广 Lagrange 函数方法
9.4 数值实验
第 9 章习题
第 10 章 近端方法
10.1 近端算子
10.2 近端极小化方法
10.3 近端梯度方法
10.4 加速近端梯度方法
第 11 章 坐标下降方法
11.1 随机坐标下降方法
11.2 加速随机坐标下降方法
11.3 循环坐标下降方法
11.4 求解可分正则最优化问题的随机坐标下降方法
第 12 章 交替方向乘子方法
12.1 方法基础
12.2 ADMM 方法的一般形式和理论性质
12.3 一致性问题
12.4 共享问题
12.5 数值实验
附录 A 数学基础
A.1 线性代数
A.2 微积分
A.3 凸分析
附录 B 符号说明
参考文献