基于模型的强化学习

强化学习是机器学习的一个基本范示，其中智 能体执行动作以确保设备的最优性能。虽然这种机 器学习范式近年来取得了巨大的成功和普及，但以 前的学术研究要么集中在理论上——最优控制和动 态规划——要么集中在算法上——其中大多数是基 于仿真的。 《基于模型的强化学习》提供了一个基于模型 的框架来桥接这两个方面，从而创建了一个基于模 型的在线学习控制主题的整体处理。在此过程中， 作者寻求开发一个基于模型的数据驱动控制框架， 该框架将数据系统识别、基于模型的强化学习和最 优控制以及每个主题的应用连接起来。这种评估经 典结果的新技术将会是更有效的强化学习系统。本 书的核心是提供一个端到端的框架——从设计到应 用——一种更易于处理的基于模型的强化学习技术 。 基于模型的强化学习的读者还会发现： 这是一本实用的教科书，适用于数据驱动和基 于学习的控制研究生课程中，强调从数据对动态系 统进行建模和控制。 详细比较了不同技术的影响，如基本线性二次 型控制器、基于学习的模型预测控制、无模型强化 学习和结构化在线学习。 非完整动力学的地面车辆应用与实例研究，以 及在四旋翼直升机上的应用与实例研究。 一个基于Python的在线工具箱，该工具箱包含 本书所涵盖的内容以及必要的代码和数据。 《基于模型的强化学习》是高年级本科生、研 究生、研究助理、教授、过程控制工程师和机器人 专家的有用参考书籍。

前言 1 非线性系统分析 1.1 符号 1.2 非线性动态系统 1.3 Lyapunov稳定性分析 1.4 离散时间动态系统的稳定性分析 1.5 总结 参考文献 2 优化控制 2.1 问题描述 2.2 动态规划 2.3 线性二次型调节器 2.4 总结 参考文献 3 强化学习 3.1 具有二次成本的控制仿射系统 3.2 精确策略迭代 3.3 未知动力学和函数逼近的策略迭代 3.4 总结 参考文献 4 动态模型的学习 4.1 简介 4.2 模型选择 4.3 参数模型 4.4 参数化学习算法 4.5 持续激励 4.6 Python工具箱 4.7 对比结果 4.8 总结 参考文献 5 基于结构化在线学习的连续时间非线性系统控制 5.1 简介 5.2 结构化近似最优控制框架 5.3 局部稳定性与最优性分析 5.4 SOL算法 5.5 仿真结果 5.6 小结 参考文献 6 结构化在线学习方法在未知动态非线性跟踪中的应用 6.1 简介 6.2 跟踪控制的结构化在线学习 6.3 使用SOL的基于学习的跟踪控制 6.4 仿真结果 6.5 总结 参考文献 7 分段学习与控制及其稳定性保证 7.1 简介 7.2 问题公式化描述 7.3 分段学习与控制框架 7.4 不确定性边界分析 7.5 分段仿射学习与控制的稳定性验证 7.6 数值结果 7.7 总结 参考文献 8 太阳能光伏系统应用 8.1 简介 8.2 问题描述 8.3 光伏阵列的最优控制 8.4 应用注意事项 8.5 仿真结果 8.6 总结 参考文献 9 四旋翼无人机低级控制应用 9.1 简介 9.2 四旋翼无人机模型 9.3 基于RLS识别器的四旋翼无人机结构化在线学习 9.4 数值结果 9.5 总结 参考文献 10 Python工具箱 10.1 概述 10.2 用户输入 10.3 SOL 10.4 显示与输出 10.5 总结 参考文献 附录 A.1 注释5.4的补充分析 A.2 注释5.5的补充分析