深度强化学习原理与实践

本书从原理的角度，力求讲解清楚深度学习、强化学习、深度强化学习中的一些精选方法，并从实践的角度，通过一系列循序渐进的原创实验，引领读者独立编程实现这些方法，以期为读者精通深度强化学习并应用深度强化学习方法解决实际问题奠定坚实基础。
本书不仅适合计算机科学与技术、人工智能、物联网工程、数据科学与大数据、软件工程、通信工程、电子信息、机器人工程、自动化、智能制造等相关专业高年级本科生及研究生教学与自学使用，也适合机器学习等领域的从业者、科研人员及爱好者自学与参考使用。

第1章引言1
1.1深度强化学习及其简史1
1.2深度强化学习的应用领域3
1.3深度强化学习方法的实现4
1.3.1NumPy库和Matplotlib库4
1.3.2PyTorch框架7
1.4本章实验解析11
1.5本书各章联系14
1.6本章小结14
1.7思考与练习15

第2章从神经网络到深度学习16
2.1神经网络回顾16
2.1.1神经网络的推测过程17
2.1.2神经网络的训练过程18
2.1.3神经网络实践23
2.2从神经网络到深度神经网络26
2.3深度神经网络29
2.3.1深度神经网络的推测过程29
2.3.2深度神经网络的训练过程30
2.3.3反向模式自动微分34
2.3.4深度神经网络实践及分析35
2.4卷积神经网络37
2.4.1卷积层和合并层38
2.4.2卷积神经网络实践41
2.5循环神经网络42
2.6本章实验解析45
2.7本章小结51
2.8思考与练习52

第3章强化学习基础53
3.1强化学习概述53
3.1.1多老虎机问题53
3.1.2利用与探索57
3.1.3强化学习的要素58
3.2有限马尔可夫决策过程59
3.2.1状态与马尔可夫性59
3.2.2什么是有限马尔可夫决策过程60
3.2.3收益与策略63
3.3求解MDP65
3.3.1贝尔曼方程与贝尔曼很优方程65
3.3.2价值迭代69
3.3.3策略评估74
3.3.4策略迭代77
3.3.5广义策略迭代82
3.4本章实验解析85
3.5本章小结90
3.6思考与练习90

第4章行动价值方法92
4.1行动价值与很优行动价值92
4.1.1行动价值92
4.1.2很优行动价值96
4.2蒙特卡洛方法99
4.3Q学习107
4.4Dyna-Q114
4.5使用监督学习方法推测很优行动价值的极限值118
4.6使用深度神经网络推测很优行动价值的极限值124
4.7本章实验解析129
4.8本章小结136
4.9思考与练习136

第5章策略梯度方法138
5.1策略梯度基本方法138
5.2蒙特卡洛策略梯度方法142
5.2.1各个行动的蒙特卡洛策略梯度方法142
5.2.2单个行动的蒙特卡洛策略梯度方法147
5.2.3平移的蒙特卡洛策略梯度方法149
5.3行动评价方法154
5.4不接近观测160
5.5本章实验解析163
5.6本章小结168
5.7思考与练习169

附录A实验参考程序及注释171

参考文献231