大规模强化学习

从与环境交互中学习是人类获取知识的主要方法，也是人类提高智能水平的基本途径。人类智能研究的一个很核心问题就是构建具有类似人类智能的系统。该系统的一个主要特征就是能够适应未知环境，并逐渐增强其自身能力。本书对连续状态空间的理论、算法及应用进行了研究和论述。主要包括：强化学习基本理论和大规模强化学习基本理论。

前言
第1章强化学习概述
1.1简介
1.2形式框架
1.2.1马尔可夫决策过程
1.2.2策略
1.2.3回报
1.3值函数
1.4解决强化学习问题
1.4.1动态规划：基于模型的解决技术
1.4.2强化学习：模型无关的解决技术
1.5本章小结
参考文献
第2章大规模或连续状态空间的强化学习
2.1简介
2.2近似表示
2.2.1带参数化值函数逼近
2.2.2非参数化值函数逼近
2.3值函数逼近求解方法
2.3.1梯度下降方法
2.3.2最小二乘回归
2.4本章小结
参考文献
第3章梯度下降值函数逼近模型的改进
3.1改进的梯度下降值函数逼近模型
3.1.1势函数塑造奖赏机制
3.1.2基于势函数塑造奖赏机制的值函数逼近模型
3.2NRBF—GD—Sarsa（λ）算法
3.2.1算法描述
3.2.2算法收敛性分析
3.3仿真实验
3.3.1实验描述
3.3.2实验设置
3.3.3实验分析
3.4本章小结
参考文献
第4章基于LSSVR的Q—值函数分片逼近模型
4.1LSSVR—Q—值函数分片逼近模型
4.2在线稀疏化样本池构建方法
4.3LSSVR—Q算法
4.4仿真实验
4.4.1实验1：MountainCar问题
4.4.2实验2：DCMotor问题
4.5本章小结
参考文献
第5章基于ANRBF网络的Q—V值函数协同逼近模型
5.1Q—V值函数协同机制
5.2Q—V值函数协同逼近模型
5.3Q—V值函数协同逼近算法
5.3.1QV（λ）算法
5.3.2算法收敛性分析
5.4仿真实验
5.4.1实验描述
5.4.2实验设置
5.4.3实验分析
5.5本章小结
参考文献
第6章基于高斯过程的快速Sarsa算法
6.1新的值函数概率生成模型
6.2利用高斯过程对线性带参值函数建模
6.3FL—GPSarsa算法
6.4仿真实验
6.4.1带风的格子世界问题
6.4.2MountainCar问题
6.5本章小结
参考文献
第7章基于高斯过程的Q学习算法
7.1值迭代方法
7.2用于值迭代的值函数概率生成模型
7.3GP—QL算法
7.4仿真实验
7.4.1实验1：带悬崖的格子世界问题
7.4.2实验2：MountainCar问题
7.5本章小结
参考文献
第8章最小二乘策略迭代算法
8.1马尔可夫决策过程
8.2最小二乘策略迭代
8.2.1投影贝尔曼等式的矩阵形式
8.2.2最小二乘策略迭代
8.2.3在线最小二乘策略迭代
8.3本章小结
参考文献
第9章批量最小二乘策略迭代算法
9.1批量强化学习算法
9.2批量最小二乘策略迭代算法
9.3算法分析
9.3.1收敛性分析
9.3.2复杂度分析
9.4仿真实验
9.4.1实验描述
9.4.2实验设置
9.4.3实验分析
9.5本章小结
参考文献
第10章自动批量最小二乘策略迭代算法
10.1定点步长参数评估方法
10.2自动批量最小二乘策略迭代算法
10.3仿真实验
10.3.1实验描述
10.3.2实验分析
10.4本章小结
参考文献
第11章连续动作空间的批量最小二乘策略迭代算法
11.1二值动作搜索
11.2快速特征选择
11.3连续动作空间的快速特征选择批量最小二乘策略迭代算法
11.4仿真实验
11.4.1实验描述
11.4.2实验设置
11.4.3实验分析
11.5本章小结
参考文献
第12章一种基于双层模糊推理的Sarsa（λ）算法
12.1Q—值函数的计算和FIS的参数更新
12.2DFR—Sarsa（λ）算法
12.2.1DFR—Sarsa（λ）算法的学习过程
12.2.2算法收敛性分析
12.3仿真实验
12.3.1MountainCar
12.3.2平衡杆
12.4本章小结
参考文献
第13章一种基于区间型二型模糊推理的Sarsa（λ）算法
13.1近似Q—值函数的计算和参数的更新
13.2IT2FI—Sarsa（λ）算法的学习过程
13.3算法收敛性分析
13.4仿真实验
13.4.1实验设置
13.4.2实验分析
13.5本章小结
参考文献
……
第14章一种带有自适应基函数的模糊值迭代算法
第15章基于状态空间分解和智能调度的并行强化学习
第16章基于资格迹的并行时间信度分配强化学习算法
第17章基于并行采样和学习经验复用的E3算法
第18章基于线性函数逼近的离策略Q（λ）算法
第19章基于二阶TDError的Q（λ）算法
第20章基于值函数迁移的快速Q—Learning算法
第21章离策略带参贝叶斯强化学习算法