深度强化学习实战:用OpenAI Gym构建智能体

一本介绍在OpenAI Gym环节中构建智能体的实战指南！ 只需要专注算法的优化，无需浪费时间去搭建环境！ ·从零起步，内容通俗易懂，轻松学习OpenAI Gym的用法 ·运用强化学习/深度强化学习算法构建智能体，不用浪费时间去搭建环境！ ·案例应用侧重于游戏、自动驾驶领域，帮你解决基于智能体的领域问题！ ·基于Python编程语言，讲解基本概念和应用知识，操作易上手！

这是一本介绍用OpenAI Gym构建智能体的实战指南。全书先简要介绍智能体和学习环境的一些入门知识，概述强化学习和深度强化学习的基本概念和知识点，然后重点介绍OpenAI Gym的相关内容，随后在具体的Gym环境中运用强化学习算法构建智能体。本书还探讨了这些算法在游戏、自动驾驶领域的应用。
本书适合想用OpenAIGym构建智能体的读者阅读，也适合对强化学习和深度强化学习感兴趣的读者参考。读者应具备一定的Python编程基础。

普拉文·巴拉尼沙米（Praveen Palanisamy）专注于研究自主智能系统。他是通用汽车研发部门的 AI（人工智能）研究员，主要负责针对自动驾驶开发基于深度强化学习的规划和决策算法。在此之前，他在卡内基-梅隆大学机器人所从事自动导航的研究（包括可移动机器人的感知与智能），曾从零开始研发一个完整的、自动的机器人系统。

第1章智能体与学习环境入门1
1．1智能体简介1
1．2学习环境2
1．3OpenAIGym简介3
1．4理解OpenAIGym的主要特性8
1．4．1简单的环境接口8
1．4．2可比较与可复现8
1．4．3进程可监控9
1．5OpenAIGym工具包的作用9
1．6创建第一个OpenAIGym环境9
1．7小结11
第2章强化学习和深度强化学习12
2．1强化学习简介12
2．2直观理解人工智能的含义和内容13
2．2．1监督学习13
2．2．2非监督学习14
2．2．3强化学习14
2．3强化学习实战14
2．3．1智能体15
2．3．2奖励15
2．3．3环境15
2．3．4状态16
2．3．5模型17
2．3．6值函数17
2．3．7策略18
2．4马尔可夫决策过程18
2．5动态规划19
2．6蒙特卡洛学习和时序差分学习19
2．7SARSA和Q-Learning20
2．8深度强化学习21
2．9强化学习和深度强化学习算法的实践应用22
2．10小结23
第3章开启OpenAIGym和深度强化学习之旅24
3．1代码库、设置和配置24
3．1．1先决条件25
3．1．2创建conda环境26
3．1．3最小化安装——快捷简便的方法27
3．1．4完整安装OpenAIGym学习环境28
3．2安装深度强化学习所需的工具和库32
3．2．1安装必备的系统软件包32
3．2．2安装CUDA33
3．2．3安装PyTorch34
3．3小结35
第4章探索Gym及其功能36
4．1探索环境列表和术语36
4．1．1术语37
4．1．2探索Gym环境38
4．2理解Gym接口40
4．3Gym中的空间43
4．4小结47
第5章实现第一个智能体——解决过山车问题48
5．1了解过山车问题48
5．2从零开始实现Q-Learning智能体50
5．2．1Q-Learning回顾53
5．2．2使用Python和NumPy实现Q-Learning智能体53
5．3在Gym中训练强化学习智能体58
5．4测试并记录智能体的性能58
5．5一个简单且完整的Q-Learner实现——过山车问题的解决方案59
5．6小结63
第6章用深度Q-Learning实现最优化控制智能体64
6．1优化Q-Learning智能体65
6．1．1用神经网络近似Q函数65
6．1．2经验回放71
6．1．3重温ε-贪婪动作策略74
6．2实现一个深度Q-Learning智能体76
6．2．1用PyTorch实现一个深度卷积Q网络77
6．2．2使用目标Q网络稳定智能体的学习78
6．2．3记录和可视化智能体的学习过程79
6．2．4管理超参数和配置参数81
6．2．5用完整的深度Q-Learner处理输入为原始像素的复杂问题83
6．3AtariGym环境89
6．4训练深度Q-Learner玩Atari游戏98
6．4．1整合一个完整的深度Q-Learner98
6．4．2超参数101
6．4．3启动训练过程102
6．4．4在Atari游戏中测试深度Q-Learner的性能103
6．5小结104
第7章创建自定义OpenAIGym环境——CARLA105
7．1理解Gym环境结构105
7．1．1为自定义Gym环境实现创建模板106
7．1．2在OpenAIGym环境中注册自定义环境108
7．2创建与OpenAIGym兼容的CARLA环境108
7．2．1配置和初始化110
7．2．2实现reset方法111
7．2．3为CARLA环境实现step函数115
7．2．4测试CARLAGym环境120
7．3小结122
第8章用深度演员-评论家算法实现无人驾驶智能体123
8．1深度n步优势演员-评论家算法123
8．1．1策略梯度124
8．1．2演员-评论家算法126
8．1．3优势演员-评论家算法127
8．1．4n步优势演员-评论家算法129
8．1．5深度n步优势演员-评论家算法132
8．2实现深度n步优势演员-评论家智能体133
8．2．1初始化演员和评论家网络133
8．2．2用当前策略获取n步经验137
8．2．3计算演员和评论家的损失137
8．2．4更新演员-评论家模型139
8．2．5用于保存/加载、记录、可视化和监视的工具139
8．2．6扩展——异步深度n步优势演员-评论家139
8．3训练一个“聪明”的自动驾驶智能体140
8．3．1训练和测试深度n步优势演员-评论家智能体140
8．3．2训练智能体在CARLA中驾驶车辆143
8．4小结144
第9章探索学习环境全景——Roboschool、GymRetro、StarCraft-Ⅱ和DeepMindLab145
9．1Gym接口兼容的环境146
9．1．1Roboschool146
9．1．2GymRetro150
9．2其他基于Python的开源学习环境153
9．2．1星际争霸Ⅱ—PySC2153
9．2．2DeepMindLab156
9．3小结160
第10章探索学习算法世界——DDPG（演员-评论家）、PPO（策略梯度）、Rainbow（基于值）161
10．1深度确定性策略梯度162
10．2近端策略优化163
10．3Rainbow165
10．3．1核心概念165
10．3．2优点及应用简要总结169
10．4小结170