最优化方法及其Python程序实现

本书较为系统地介绍了非线性很优化的基本理论、方法及其 Python 程序设计, 主要内容包括线搜索方法、梯度法和牛顿法、共轭梯度法、拟牛顿法、信赖域方法、非线性最小二乘问题、 约束优化的很优性条件、罚函数法、可行方向法、二次规划问题的解法、序列二次规划法等。书中配有丰富的例题和习题, 同时简要介绍了Python 软件的安装和Python 程序的基本编写方法。本书既注重计算方法的实用性, 又注意保持理论分析的严谨性, 强调很优化理论、方法及其Python 程序的实现。本书的主要阅读对象是数学与应用数学、信息与计算科学、数据科学与大数据技术等相关专业的本科生, 应用数学、计算数学、运筹学与控制论专业的研究生, 理工科有关专业的研究生, 以及对很优化理论与算法感兴趣的教师及科技工作人员。

第1章绪论.1
1.1很优化模型.1
1.2向量和矩阵范数.2
1.3函数的可微性.3
1.4凸函数.6
1.5很优性条件.8
1.6优化算法的一般框架.10
习题.12
第2章Python基础.13
2.1Python的安装.13
2.2环境变量配置.15
2.3Python编程中的注意事项.15
2.4Python中的几个重要库.16
2.5第三方库的安装与升级.17
2.6Python编程基础知识.18
第3章线搜索方法.28
3.1准确线搜索及其Python实现.29
3.2非准确线搜索及其Python实现.37
3.3线搜索法的收敛性.39
习题.42
第4章梯度法和牛顿法.44
4.1梯度法及其Python实现.44
4.2牛顿法及其Python实现.48
4.3修正牛顿法及其Python实现.53
习题.57
第5章共轭梯度法.59
5.1共轭方向法.59
5.2共轭梯度法.61
5.3共轭梯度法的Python实现.65
习题.68
第6章拟牛顿法.70
6.1拟牛顿法及其性质.70
6.2对称秩1算法及其Python实现.71
6.3BFGS算法及其Python实现.74
6.4DFP算法及其Python实现.79
6.5Broyden族算法及其Python实现.82
6.6拟牛顿法的收敛性.88
习题.93
第7章信赖域方法.95
7.1信赖域方法的一般框架.95
7.2信赖域方法的收敛性.97
7.3信赖域子问题的求解.99
7.4信赖域方法的Python程序.103
习题.106
第8章非线性最小二乘问题.108
8.1Gauss-Newton算法.108
8.2Levenberg-Marquardt算法.111
8.3L-M算法的Python实现.118
习题.120
第9章约束优化的很优性条件.122
9.1等式约束优化问题的很优性条件.122
9.2不等式约束优化问题的很优性条件.125
9.3混合约束优化问题的很优性条件.128
9.4鞍点和对偶问题.131
习题.135
第10章罚函数法.137
10.1外罚函数法.137
10.2内点法.140
10.2.1不等式约束优化问题的内点法.140
10.2.2混合约束优化问题的内点法.144
10.3乘子法.145
10.3.1等式约束优化问题的乘子法.145
10.3.2混合约束优化问题的乘子法.149
10.4乘子法的Python实现.152
习题.154
第11章可行方向法.156
11.1Zoutendijk可行方向法.156
11.1.1线性约束下的Zoutendijk可行方向法.156
11.1.2非线性约束下的Zoutendijk可行方向法.160
11.2梯度投影法.165
11.2.1梯度投影法的理论基础.165
11.2.2梯度投影法的计算步骤.168
11.3简约梯度法.171
11.3.1Wolfe简约梯度法.171
11.3.2广义简约梯度法.179
习题.182
第12章二次规划问题的解法.185
12.1等式约束凸二次规划问题的解法.185
12.1.1零空间方法.185
12.1.2拉格朗日方法及其Python程序.186
12.2求解混合约束凸二次规划问题的有效集方法.189
12.2.1有效集方法的理论推导.190
12.2.2有效集方法的算法步骤.192
12.2.3有效集方法的Python实现.196
习题.200
第13章序列二次规划法.202
13.1牛顿-拉格朗日方法.202
13.1.1牛顿-拉格朗日方法的基本理论.202
13.1.2牛顿-拉格朗日方法的Python实现.204
13.2SQP方法的算法模型.207
13.2.1基于拉格朗日函数Hesse矩阵的SQP方法.207
13.2.2基于修正Hesse矩阵的SQP方法.214
13.3SQP方法的相关问题.216
13.3.1二次规划子问题的Hesse矩阵.216
13.3.2价值函数与搜索方向的下降性.217
13.4SQP方法的Python实现.223
13.4.1SQP子问题的Python实现.224
13.4.2SQP方法的Python实现.231
习题.236
参考文献.238