跟我一起学人工智能-强化学习:从原理到实践

\\\"本书是对强化学习算法的综合性讲解书籍，内容包括主要的强化学习算法的实现思路讲解，以及主要的优化方法的原理讲解。本书介绍的每个算法都分为原理讲解和代码实现两部分，代码实现是为了通过实验验证原理部分的可行性。通过本书的学习，读者可以快速地了解强化学习算法的设计原理，掌握强化学习算法的实现过程，并能研发属于自己的强化学习算法，了解各个算法的优缺点，以及各个算法适用的场景。 本书共18章，分为强化学习基础篇（第1章和第2章）介绍了强化学习中的基本概念。强化学习基础算法篇（第3~6章）介绍了QLearning算法、SARSA算法、DQN算法、Reniforce算法。强化学习高级算法篇（第7~12章）介绍了AC演员评委算法、A2C优势演员评委算法、PPO近端策略优化算法、DDPG深度确定性策略梯度算法、TD3双延迟深度确定性策略梯度算法、SAC柔性演员评委算法、模仿学习算法。多智能体篇（第13章和第14章），介绍了在一个系统中存在多智能体时，各个智能体之间的合作、对抗等关系，以及各个智能体之间的通信策略。扩展算法篇（第15~17章）介绍了CQL离线学习算法、MPC环境学习算法、HER目标导向算法。SB3强化学习框架篇（第18章），介绍了强化学习框架SB3的使用方法。 本书将使用最简单浅显的语言，带领读者快速地了解各个主要的强化学习算法的设计思路，以及实现过程。通过本书各个章节的学习，读者可以掌握主流的强化学习算法的原理和实现方法，能够让读者知其然也知其所以然，做到融会贯通。 \\\"

\"李福林，一个在IT领域摸爬滚打十多年的老程序员、培训师，精通多种IT技术。分享了多部AI技术教程，受到了读者的广泛赞誉。现任职于阳狮集团，担任算法工程师。教学风格追求化繁为简，务实而不空谈，课程设计思路清晰，课程演绎说理透彻，对AI领域技术有自己独到的见解。 \"

本书源码 附赠资源 基础篇 第1章强化学习概述 1.1强化学习的定义 1.2玩耍和学习 1.3对比传统方法 1.4基于表格的直观示例 1.5一般的学习过程 1.6小结 第2章Q函数和时序差分 2.1一个直观的例子 2.2数学描述 2.3精确计算Q函数是困难的 2.4寻求Q函数 2.5小结 基础算法篇 第3章基于表格的强化学习方法 3.1代码运行环境说明 3.2游戏环境 3.2.1Gym包介绍 3.2.2定义游戏环境 3.2.3游戏环境操作方法介绍 3.3定义Q表 3.4强化学习的一般过程 3.4.1数据池的必要性 3.4.2异策略和同策略 3.5定义play函数和数据池 3.5.1定义play函数 3.5.2定义数据池 3.6使用时序差分方法更新Q表 3.7QLearning算法 3.8SARSA算法 3.9实现无数据池的SARSA算法 3.10小结 第4章DQN算法 4.1DQN算法介绍 4.2平衡车游戏环境 4.3定义神经网络模型 4.4数据部分的修改 4.4.1play函数的修改 4.4.2数据池的修改 4.5实现DQN算法 4.6双模型 4.7加权的数据池 4.8Double DQN 4.9Dueling DQN 4.10Noise DQN 4.11小结 第5章策略梯度 5.1基于策略的算法 5.2一个直观的例子 5.3数学表达 5.4小结 第6章Reinforce算法 6.1基于策略的算法 6.2组件修改 6.2.1游戏环境 6.2.2神经网络模型 6.2.3play函数 6.3Reinforce算法 6.4去基线 6.4.1去基线的目的 6.4.2实现去基线 6.5熵正则 6.5.1动作分布概率收敛太快的弊端 6.5.2熵 6.5.3实现熵正则 6.6小结 高级算法篇 第7章AC和A2C算法 7.1时序差分和策略梯度的结合 7.2AC算法介绍 7.3实现AC算法 7.3.1定义模型 7.3.2训练critic模型 7.3.3训练actor模型 7.3.4执行训练 7.4A2C算法介绍 7.5实现A2C算法 7.6小结 第8章近端策略优化 8.1重要性采样 8.2惩罚与裁剪 8.2.1约束KL散度法 8.2.2惩罚KL散度法 8.2.3重要性采样裁剪法 8.3优势函数 8.4广义优势估计 8.5小结 第9章PPO算法 9.1在离散动作环境中的应用 9.1.1定义模型 9.1.2训练value模型 9.1.3训练action模型 9.1.4执行训练 9.2在连续动作环境中的应用 9.2.1倒立摆游戏环境介绍 9.2.2定义模型 9.2.3定义play函数 9.2.4训练value模型 9.2.5训练action模型 9.2.6执行训练 9.3小结 第10章DDPG和TD3算法 10.1DDPG算法概述 10.1.1确定的动作 10.1.2异策略化 10.2优化方法 10.3缓解过高估计 10.4DDPG算法实现 10.4.1定义模型 10.4.2定义工具类和辅助函数 10.4.3定义训练过程 10.5TD3算法实现 10.5.1定义模型 10.5.2定义训练过程 10.6小结 第11章SAC算法 11.1SAC算法简介 11.1.1考虑动作的熵 11.1.2异策略化 11.2实现SAC算法 11.2.1定义模型 11.2.2定义工具类和辅助函数 11.2.3训练value模型 11.2.4训练action模型 11.2.5执行训练 11.2.6关于alpha的调整 11.3SAC算法的简化版实现 11.3.1定义模型 11.3.2训练value模型 11.3.3训练action模型 11.3.4执行训练 11.4在连续动作环境中的应用 11.4.1定义模型 11.4.2value模型的输入和输出 11.4.3修改工具类和辅助函数 11.4.4训练value模型 11.4.5训练action模型 11.4.6执行训练 11.5小结 第12章模仿学习 12.1模仿学习简介 12.2在离散动作环境中的应用 12.2.1定义数据集 12.2.2定义模型 12.2.3执行训练 12.2.4测试 12.3在连续动作环境中的应用 12.3.1定义数据集 12.3.2定义模型 12.3.3执行训练 12.3.4测试 12.4小结 多智能体篇 第13章合作关系的多智能体 13.1多智能体简介 13.1.1有通信的情况 13.1.2训练时有通信的情况 13.1.3无通信的情况 13.2合作关系游戏环境介绍 13.3定义A2C算法 13.4有通信的实现 13.4.1定义模型 13.4.2修改play函数 13.4.3执行训练 13.5训练时有通信的实现 13.5.1修改模型 13.5.2执行训练 13.6小结 第14章对抗关系的多智能体 14.1对抗关系的多智能体简介 14.2纳什均衡简介 14.3游戏环境介绍 14.4无通信的实现 14.4.1定义模型 14.4.2执行训练 14.5训练时有通信的实现 14.5.1定义模型 14.5.2执行训练 14.6小结 扩展算法篇 第15章CQL算法 15.1离线学习简介 15.2离线学习中Q值过高估计的问题 15.3CQL算法是如何抑制Q值的 15.4实现CQL算法 15.4.1数据集介绍 15.4.2封装数据集 15.4.3定义算法模型 15.4.4执行训练 15.5小结 第16章MPC算法 16.1MPC算法简介 16.1.1假环境学习 16.1.2最优动作搜索 16.2实现MPC算法 16.2.1定义假环境 16.2.2定义动作函数 16.2.3训练假环境 16.2.4重写动作函数 16.2.5动作学习 16.3小结 第17章HER目标导向 17.1HER算法概述 17.1.1稀疏反馈的游戏环境 17.1.2放置假目标点 17.2HER算法实现 17.2.1游戏环境介绍 17.2.2定义算法模型 17.2.3定义数据池 17.2.4执行训练 17.3小结 框架篇 第18章SB3强化学习框架 18.1SB3简介 18.2快速上手 18.3模型的保存和加载 18.4多环境并行训练 18.5Callback类 18.6综合实例 18.7使用SB3 Contrib 18.8小结