最优化:建模、算法与理论

本书介绍了很优化的基本概念、典型案例、基本理论和优化算法。典型案例来自数据科学、机器学习、人工智能、图像和信号处理等领域，基本理论涵盖很优解的存在性和专享性、各类优化问题的一阶或二阶很优性条件、对偶理论等，优化算法包括无约束优化算法、约束优化算法、复合优化算法。全书案例丰富，理论翔实，展现了很优化的“实践-算法-理论-实践”这一特点。书中配备了适量的习题，这些习题难易兼顾、层次分明，为正文的内容提供补充，并可检验读者的学习效果。
本书可作为高等学校数据科学专业的教材或参考书，供研究生和本科高年级学生使用，也可供从事运筹学、计算数学、图像和信号处理、机器学习、人工智能等领域的科技工作者参考。

第一章很优化简介
1.1很优化问题概括
1.1.1很优化问题的一般形式
1.1.2很优化问题的类型与应用背景
1.2实例：稀疏优化
1.3实例：低秩矩阵恢复
1.4实例：深度学习
1.5很优化的基本概念
1.5.1连续和离散优化问题
1.5.2无约束和约束优化问题
1.5.3随机和确定性优化问题
1.5.4线性和非线性规划问题
1.5.5凸和非凸优化问题
1.5.6全局和局部很优解
1.5.7优化算法
1.6总结
习题1
第二章基础知识
2.1范数
2.1.1向量范数
2.1.2矩阵范数
2.1.3矩阵内积
2.2导数
2.2.1梯度与海瑟矩阵
2.2.2矩阵变量函数的导数
2.2.3自动微分
2.3广义实值函数
2.3.1适当函数
2.3.2闭函数
2.4凸集
2.4.1凸集相关定义
2.4.2重要的凸集
2.4.3保凸的运算
2.4.4分离超平面定理
2.5凸函数
2.5.1凸函数的定义
2.5.2凸函数判定定理
2.5.3保凸的运算
2.5.4凸函数的性质
2.6共轭函数
2.6.1共轭函数的定义和例子
2.6.2二次共轭函数
2.7次梯度
2.7.1次梯度的定义
2.7.2次梯度的性质
2.7.3凸函数的方向导数
2.7.4次梯度的计算规则
2.8总结
习题2
第三章优化建模
3.1建模技术
3.1.1目标函数的设计
3.1.2约束的设计
3.2回归分析
3.2.1概述
3.2.2线性回归模型
3.2.3正则化线性回归模型
3.3逻辑回归
3.4支持向量机
3.5概率图模型
3.6相位恢复
3.7主成分分析
3.8矩阵分离问题
3.9字典学习
3.10K-均值聚类
3.11图像处理中的全变差模型
3.12小波模型
3.13强化学习
3.14总结
习题3
第四章典型优化问题
4.1线性规划
4.1.1基本形式和应用背景
4.1.2应用举例
4.2最小二乘问题
4.2.1基本形式和应用背景
……
第五章很优性理论
第六章无约束优化算法
第七章约束优化算法
第八章复合优化算法
附录A符号表
附录B数学基础
参考文献
索引