深度强化学习实践(原书第2版)

本书包括新的强化学习工具和技术，介绍了强化学习的基础知识，以及如何动手编写智能体以执行一系列实际任务。 本书较上一版新增6章，专门介绍了强化学习的新发展，包括离散优化（解决魔方问题）、多智能体方法、Microsoft的TextWorld环境、高级探索技术等。学完本书，你将对这个新兴领域的前沿技术有深刻的理解。 此外，你将获得对深度Q-network、策略梯度方法、连续控制问题以及高度可扩展的非梯度方法等领域的可行洞见，还将学会如何构建一个经过强化学习训练、价格低廉的真实硬件机器人，并通过逐步代码优化在短短30分钟的训练后解决Pong环境问题。 简而言之，本书将帮助你探索强化学习中令人兴奋的复杂主题，让你通过实例获得经验和知识。

本书理论与实践相结合，系统阐述强化学习的基础知识，以及如何动手编写智能体以执行一系列实际任务。通过阅读本书，读者将获得深层Q网络、策略梯度方法、连续控制问题以及高度可扩展的非梯度方法等主题领域的可行洞见，还将学会如何构建一个经过强化学习训练、价格低廉的真实硬件机器人，并通过一步步代码优化在短短30分钟的训练后解决Pong环境。此外，本书还专门介绍了强化学习的新发展，包括离散优化（解决魔方问题）、多智能体方法、Microsoft的TextWorld环境、高级探索技术等。

译者序
前言
作者简介
审校者简介
第1章什么是强化学习
1．1机器学习分类
1．1．1监督学习
1．1．2非监督学习
1．1．3强化学习
1．2强化学习的复杂性
1．3强化学习的形式
1．3．1奖励
1．3．2智能体
1．3．3环境
1．3．4动作
1．3．5观察
1．4强化学习的理论基础
1．4．1马尔可夫决策过程
1．4．2策略
1．5总结
第2章OpenAIGym
2．1剖析智能体
2．2硬件和软件要求
2．30penAIGymAPI
2．3．1动作空间
2．3．2观察空间
2．3．3环境
2．3．4创建环境
2．3．5车摆系统
2．4随机CartPole智能体
2．5Gym的额外功能：包装器和监控器
2．5．1包装器
2．5．2监控器
2．6总结
第3章使用PyTorch进行深度学习
3．1张量
3．1．1创建张量
3．1．2零维张量
3．1．3张量操作
3．1．4GPU张量
3．2梯度
3．3NN构建块
3．4自定义层
3．5最终黏合剂：损失函数和优化器
3．5．1损失函数
3．5．2优化器
3．6使用TensorBoard进行监控
3．6．1TensorBOard101
3．6．2绘图
3．7示例：将GAN应用于Atari图像
3．8PyTorchlgnite
3．9总结
第4章交叉熵方法
4．1RL方法的分类
4．2交叉熵方法的实践
4．3交叉熵方法在CartPole中的应用
4．4交叉熵方法在FrozenLake中的应用
4．5交叉熵方法的理论背景
4．6总结
第5章表格学习和Bellman方程
5．1价值、状态和很优性
5．2很好Bellman方程
5．3动作的价值
5．4价值迭代法
5．5价值迭代实践
5．6Q-Iearning在FrozenLake中的应用
5．7总结
第6章深度Q．network
6．1现实的价值迭代
6．2表格Q-Iearning
6．3深度Q-learning
6．3．1与环境交互
6．3．2SGD优化
6．3．3步骤之间的相关性
6．3．4马尔可夫性质
6．3．5DQN训练的最终形式
6．4DQN应用于Pong游戏
6．4．1包装器
6．4．2DQN模型
6．4．3训练
6．4．4运行和性能
6．4．5模型实战
6．5可以尝试的事情
6．6总结
第7章高级强化学习库
7．1为什么使用强化学习库
7．2PTAN库
7．2．1动作选择器
7．2．2智能体
7．2．3经验源
7．2．4经验回放缓冲区
7．2．5TargetNet类
7．2．6Ignite帮助类
7．3PTAN版本的CartPole解决方案
7．4其他强化学习库
7．5总结
第8章DQN扩展
8．1基础DQN
8．1．1通用库
8．1．2实现
8．1．3结果
8．2N步DQN
……