强化学习与最优控制

本书的目的是考虑大型且具有挑战性的多阶段 决策问题，这些问题原则上可以通过动态规划和最 优控制来解决，但它们的精确解决方案在计算上是 难以处理的。本书讨论依赖于近似的解决方法，以 产生具有足够性能的次优策略。这些方法统称为增 强学习，也可以叫做近似动态规划和神经动态规划 等。本书的主题产生于最优控制和人工智能思想的 相互作用。本书的目的之一是探索这两个领域之间 的共同边界，并架设一座具有任一领域背景的专业 人士都可以访问的桥梁。

李宇超，瑞典皇家理工学院决策与控制专业博士在读。博士期间研究课题为强化学习，最优控制，以及相关理论在智能交通领域的应用。他于2015年在哈尔滨工业大学机械制造及其自动化专业获得本科学位，并在1年后从现就读学院的机电一体化专业获得硕士学位。

第1章 精确动态规划 1.1 确定性动态规划 1.1.1 确定性问题 1.1.2 动态规划算法 1.1.3 值空间的近似 1.2 随机动态规划 1.3 例子、变形和简化 1.3.1 确定性最短路径问题 1.3.2 确定性离散优化问题 1.3.3 含终止状态的问题 1.3.4 预报 1.3.5 含不可控状态组分的问题 1.3.6 不完整的状态信息和置信状态 1.3.7 线性二次型最优控制 1.3.8 含未知参数的系统——自适应控制 1.4 强化学习与最优控制——一些术语 1.5 注释和资源 第2章 值空间的近似 2.1 强化学习中的近似方法 2.1.1 值空间近似的一般问题 2.1.2 离线与在线方法 2.1.3 针对前瞻最小化的基于模型的简化 2.1.4 无模型的离线Q因子近似 2.1.5 基于值空间近似的策略空间近似 2.1.6 值空间的近似何时有效 2.2 多步前瞻 2.2.1 多步前瞻与滚动时域 2.2.2 多步前瞻与确定性问题 2.3 问题近似 2.3.1 强制解耦 2.3.2 随机问题中的近似——确定性等价控制 2.4 策略前展与策略改进原则 2.4.1 针对确定性离散优化问题的在线策略前展 2.4.2 随机策略前展与蒙特卡洛树搜索 2.4.3 基于专家的策略前展 2.5 针对确定性无穷空间问题的在线策略前展——优化类启发式方法 2.5.1 模型预测控制 2.5.2 目标管道与约束可控性条件 2.5.3 模型预测控制的变形 2.6 注释与资源 第3章 参数化近似 3.1 近似架构 3.1.1 基于特征的线性与非线性参数架构 3.1.2 训练线性与非线性架构 3.1.3 增量梯度与牛顿法 3.2 神经网络 3.2.1 训练神经网络 3.2.2 多层与深度神经网络 3.3 连续动态规划近似 3.4 Q因子参数化近似