深度强化学习理论及其在机器人运动控制中的应用实践

深度强化学习理论的提出为机器人控制中的动力学模型建立、环境状态信息感知等问题提供了丰富的解决思路。本书在现有的深度强化学习算法基础上，针对机器人控制中的机器人姿态平衡控制、机器人持物平衡控制、机器人抓取控制3个方面的问题展开研究，为基于深度强化学习的机器人控制问题提供一定的理论指导和技术支撑。
本书适合机器人运动控制领域的研究者，以及对机器人运动控制方法感兴趣的读者阅读参考。

姚世选，男，1976年5月出生，工学博士，副教授，研究生导师，兼大连理工计算机控制工程有限公司总工程师，全国工业过程测量控制和自动化标准化技术委员会可编程序控制器分技术委员会（SAC/TC124/SC5）委员。主要从事工业互联网、智能控制、运动控制和机器人控制等技术方面研究，负责国家科技支撑计划课题"面向电子制造装备的可编程运动控制器研发与应用（2015BAF20B02）”1项、国家科工局项目"复合材料旋翼加工数控系统设计与软件开发”1项和企业委托项目多项。负责了国家科技支撑计划项目"面向电子制造装备的关键技术开发与应用示范（2015BAF20B00）”的项目整合、申报书编写和项目答辩等工作。取得发明专利6项，实用新型2项，软件著作权5项，发表学术论文11篇，参与编写国家标准3项，审核国家标准多项。

第1章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 深度强化学习的研究现状
1.2.2 机器人控制的研究现状
1.3 本书主要内容
第2章 深度强化学习及非线性很优化基础理论
2.1 引言
2.2 强化学习理论
2.2.1 马尔可夫决策过程
2.2.2 动态规划
2.2.3 蒙特卡罗方法
2.2.4 时间差分学习
2.2.5 强化学习算法概述
2.3 深度强化学习理论
2.3.1 深度学习
2.3.2 深度强化学习算法概述
2.4 非线性系统
2.4.1 非线性系统描述
2.4.2 李雅普诺夫稳定性理论
2.4.3 控制系统中的动态规划问题
2.4.4 连续系统很优控制问题
2.4.5 离散系统很优控制问题
2.4.6 ADP方法分析
2.4.7 关于性能指标函数的讨论
2.5 本章小结
第3章 机器人运动控制方法及问题分析
3.1 引言
3.2 机器人平衡问题及方法提出
3.2.1 问题描述
3.2.2 方法提出
3.3 机器人抓取问题及方法提出
3.3.1 问题描述
3.3.2 方法提出
3.4 本章小结
第4章 基于深度强化学习的机器人姿态平衡控制
4.1 引言
4.2 倒立摆双轮式机器人基础模型
4.3 平衡系统控制模型设计
4.3.1 系统特点分析
4.3.2 姿态平衡系统强化学习模型构建
4.3.3 细节奖励函数设计
4.3.4 强化学习算法
4.4 实验结果及分析
4.4.1 倒立摆动力学模型软件设计
4.4.2 倒立摆内核系统设计
4.4.3 训练和测试环境
4.4.4 实验分析
4.5 本章小结
第5章 基于深度强化学习的机器人持物平衡控制
5.1 引言
5.2 机器人球杆系统模型
5.3 平衡系统控制模型设计
5.3.1 持物平衡系统强化学习模型构建
5.3.2 细节奖励函数设计
5.3.3 强化学习算法
5.4 视觉定位方法设计
5.5 实验结果及分析
5.5.1 训练和测试环境
5.5.2 实验分析
5.6 本章小结
第6章 基于深度强化学习的机器人抓取控制
6.1 引言
6.2 机器人运动学模型建立
6.3 抓取系统控制模型设计
6.3.1 抓取系统强化学习模型构建
6.3.2 奖励函数设计
6.3.3 强化学习算法
6.3.4 算法网络设计
6.4 实验结果及分析
6.4.1 训练和测试环境
6.4.2 实验分析
6.5 本章小结
第7章 移动机器人的运动控制问题
7.1 引言
7.2 智能体学习环境及问题
7.3 用细节奖励机制解决智能体学习问题
7.4 本章小结
第8章 并联机器人的逆解问题
8.1 引言
8.2 并联机器人深度强化学习建模
8.2.1 状态空间设计
8.2.2 输出动作选取
8.2.3 奖励函数分析
8.3 改进双延迟深度确定性策略梯度
8.3.1 TD3算法流程
8.3.2 基于Sumtree优先采样
8.4 实验结果及分析
8.4.1 仿真环境下的模型训练和评价
8.4.2 实物平台模型测试
8.5 本章小结
第9章 结论与展望
9.1 结论
9.2 创新点
9.3 展望
参考文献