深度强化学习 入门与实践指南

编辑推荐：迅速理解深度强化学习，从原理到新近算法全面探索面向实践，掌握构建智能体、聊天机器人等实践项目本书对RL的核心知识进行了全面深入讲解，并为你提供了编写智能体代码的详细知识，以使其执行一系列艰巨的实际任务。帮助你掌握如何在“网格世界”环境中实现Q-learning，教会你的智能体购买和交易股票，并掌握如何通过实现自然语言模型来推动聊天机器人的发展。你将学到什么：● 理解如何通过RL的DL上下文实现复杂的DL模型● 掌握RL的基础理论：马尔可夫决策过程● 学会评估RL的方法，包括交叉熵、DQN、Actor-Critic、TRPO、PPO、DDPG、D4PG等● 研究探索如何处理各种环境中的离散和连续动作空间● 学会使用值迭代方法击败Atari街机游戏● 学会创建自己的OpenAI Gym环境以训练股票交易智能体● 教会你的智能体使用AlphaGo Zero玩Connect4● 探索有关主题的*新深度RL研究，包括AI驱动的聊天机器人

迅速理解深度强化学习，从原理到新近算法全面探索。关于强化学习的新资料很多，但多数过于专业和抽象，很不容易理解，并且从理解原理到可以实际解决问题之间还有巨大差距，而本书意在填补强化学习方法在实用性和结构化信息方面的不足，以帮助读者从整体上轻松理解深度强化学习。同时本书的另一个特点是面向实践，从简单到非常复杂，将每种方法实际应用在各种具体环境中，以帮助读者在实际研究和工作中应用深度强化学习来解决问题。本书适合深度强化学习、机器学习、人工智能相关行业的从业者、学习者阅读参考。

Maxim Lapan深度学习研究者，作为一名软件开发人员和系统架构师，具有超过15年的专业经验，涵盖了从Linux内核驱动程序开发到可在数千台服务器上工作的分布式应用项目的设计与性能优化。他在大数据、机器学习以及大型并行分布式HPC系统方面拥有丰富的工作经验，并擅长使用简单的文字和生动的示例来解释复杂事物。他目前专注的领域是深度学习的实际应用，例如深度自然语言处理和深度强化学习。Maxim目前在以色列一家初创公司工作，担任高级NLP开发人员。

原书前言
第1章什么是强化学习
1.1学习—监督、无监督和强化
1.2RL形式和关系
1.2.1奖励
1.2.2智能体
1.2.3环境
1.2.4动作
1.2.5观察
1.3马尔可夫决策过程简介
1.3.1马尔可夫过程
1.3.2马尔可夫奖励过程
1.3.3马尔可夫决策过程
1.4本章小结
第2章OpenAIGym开源平台
2.1智能体剖析
2.2硬件和软件要求
2.3OpenAIGymAPI
2.3.1动作空间
2.3.2观察空间
2.3.3环境
2.3.4创建环境
2.3.5CartPole会话
2.4随机CartPole智能体
2.5额外的Gym功能—Wrapper和Monitor
2.5.1Wrapper
2.5.2Monitor
2.6本章小结
第3章使用PyTorch进行深度学习
3.1张量
3.1.1创建张量
3.1.2标量张量
3.1.3张量操作
3.1.4GPU张量
3.2梯度
3.2.1张量和梯度
3.3NN构建块
3.4定制层级
3.5最终的黏合剂—损失函数和优化器
3.5.1损失函数
3.5.2优化器
3.6使用TensorBoard监控
3.6.1TensorBoard简介
3.6.2绘图工具
3.7示例：在Atari图像上使用GAN
3.8本章小结
第4章交叉熵方法
4.1RL方法的分类
4.2实践交叉熵
4.3CartPole上的交叉熵方法
4.4FrozenLake上的交叉熵方法
4.5交叉熵方法的理论背景
4.6本章小结
第5章表格学习与Bellman方程
5.1值、状态、很优性
5.2很优的Bellman方程
5.3动作的值
5.4值迭代法
5.5实践中的值迭代
5.6FrozenLake中的Q-learning
5.7本章小结
第6章深度Q网络
6.1现实中的值迭代
6.2表格式Q-learning
6.3深度Q-learning
6.3.1与环境的交互
6.3.2SGD优化
6.3.3步骤之间的相关性
6.3.4马尔可夫性
6.3.5DQN训练的最终形式
6.4Pong上的DQN
6.4.1封装
6.4.2DQN模型
6.4.3训练
6.4.4运行与性能
6.4.5动作中的模型
6.5本章小结
第7章DQN扩展
7.1PyTorchAgentNet函数库
7.1.1智能体
7.1.2智能体的经验
7.1.3经验缓冲区
7.1.4Gymenv封装
7.2基本DQN
7.3N步DQN
7.3.1实现
7.4双DQN
7.4.1实现
7.4.2结果
7.5有噪网络
7.5.1实现
7.5.2结果
7.6优先级重放缓冲区
7.6.1实现
7.6.2结果
7.7竞争DQN
7.7.1实现
7.7.2结果
7.8分类
7.8.1实现
7.8.2结果
7.9结合所有
7.9.1实现
7.9.2结果
7.10本章小结
参考文献
第8章RL用于股票交易
8.1贸易
8.2数据
8.3问题陈述和关键决策
8.4交易环境
8.5模型
8.6训练代码
8.7结果
8.7.1前馈模型
8.7.2卷积模型
8.8要尝试的事
8.9本章小结
第9章策略梯度法：一种替代方案
9.1值与策略
9.1.1为什么是策略
9.1.2策略表示
9.1.3策略梯度
9.2强化方法
9.2.1CartPole的例子
9.2.2结果
9.2.3基于策略的方法与基于值的方法
9.3强化问题
9.3.1完整episode是必需的
9.3.2高梯度方差
9.3.3探索
9.3.4样本之间的相关性
9.4CartPole上的PG
9.5Pong上的PG
9.6本章小结
第10章Actor-Critic方法
10.1方差减少
10.2CartPole方差
10.3Actor-Critic
10.4Pong上的A2C
10.5Pong上的A2C的结果
10.6调整超参数
10.6.1学习率
10.6.2熵beta
10.6.3环境数量
10.6.4batch大小
10.7本章小结
第11章异步优势Actor-Critic方法
11.1相关性和样本效率
11.2在A2C中添加另一个A
11.3Python中的多处理
11.4A3C—数据并行
11.5A3C—梯度并行
11.6本章小结
第12章用RL训练聊天机器人
12.1聊天机器人概述
12.2DeepNLP基础知识
12.2.1RNN
12.2.2嵌入
12.2.3编码器-解码器
12.3seq2seq训练
12.3.1对数似然训练
12.3.2双语评估替补（BLEU）得分
12.3.3seq2seq中的RL
12.3.4自我评价序列训练
12.4聊天机器人示例
12.4.1示例结构
12.4.2模块：cornell.py和data.py
12.4.3BLEU得分和utils.py
12.4.4模型
12.4.5训练：交叉熵
12.4.6执行训练
12.4.7检查数据
12.4.8测试训练的模型
12.4.9训练：SCST
12.4.10运行SCST训练
12.4.11结果
12.4.12电报机器人
12.5本章小结
第13章Web浏览
13.1网页浏览
……