强化学习与机器人控制

从2013年开始，作者及其团队开始使用神经网络和模糊系统等智能技术研究人机交互控制。2016年，作者将更多注意力放在如何利用强化学习解决人机交互问题上。经过四年的工作，他们在关节空间和任务空间中提出了基于模型和无模型的阻抗和导纳控制的结果，还分析了闭环系统，并且讨论了无模型上优机器人交互控制和基于强化学习的位置受力控制设计。他们研究了庞大的离散时间空间和连续时间空间中的强化学习方法。对于冗余机器人的控制，他们使用多智能体强化学习来解决，并分析强化学习的收敛性。将最坏情况下不确定性的鲁棒人机交互控制转化为“H2/H∞问题”，采用强化学习和神经网络设计并实现上优控制器。 本书假设读者熟悉基于经典和高级控制器进行机器人交互控制的一些应用，将进一步对系统识别、基于模型和无模型的机器人交互控制器进行系统性分析。本书适用于研究生以及执业工程师。阅读本书需要掌握的先决知识是:机器人控制、非线性系统分析，特别是Lyapunov方法、神经网络、优化技术和机器学习。本书还适用于许多对机器人和控制感兴趣的研究人员和工程师。

在《强化学习与机器人控制》一书中，专家团队不仅简洁明了地描述了人机交互控制方案，还深入介绍了新颖的无模型强化学习控制器。本书首先简述更优选的人机交互控制方案和强化学习，然后讲解典型的环境模型，最后介绍一些更有名的参数估计识别技术。
本书提供了严谨的数学推理和演示，这有助于读者理解控制方案和算法。书中还描述了人机交互控制和基于强化学习控制的稳定性和收敛性分析。另外，还讨论了一些前沿话题，如逆运动学和速度运动学解决方案、神经控制以及机器人领域未来可能的发展趋势。
主要内容
·全面介绍基于模型的人机交互控制
·详细研究基于欧拉角的无模型人机交互控制和“人机回圈”机制控制
·实际讨论机器人位置和力控制的强化学习以及机器人力控制的连续时间强化学习
·深入研究使用强化学习来控制最坏情况下不确定性的机器人，并使用多智能体强化学习对冗余机器人进行控制

    Wen Yu，博士，墨西哥城国家政治研究所(CINVESTAV-IPN）投资研究中心的教授和自动化控制系主任，Modeling and Control of Uncertain Nonlinear Systems with Fuzzy Equations and Z-Number 一书的合著者。     Adolfo Perrusquía，博士，英国贝德福德郡克兰菲尔德大学航空航天、运输和制造学院的研究员。

第I部分
人机交互控制

第1章 介绍 2
1.1 人机交互控制 2
1.2 控制强化学习 5
1.3 本书的结构安排 6
第2章 人机交互的环境模型 10
2.1 阻抗和导纳 10
2.2 人机交互阻抗模型 15
2.3 人机交互模型的识别 18
2.4 本章小结 25
第3章 基于模型的人机交互控制 26
3.1 任务空间阻抗/导纳控制 26
3.2 关节空间阻抗控制 29
3.3 准确性和鲁棒性 30
3.4 模拟 33
3.5 本章小结 38
第4章 无模型人机交互控制 39
4.1 使用关节空间动力学进行任务空间控制 39
4.2 使用任务空间动力学进行任务空间控制 47
4.3 关节空间控制 48
4.4 模拟 49
4.5 实验 55
4.6 本章小结 65
第5章 基于欧拉角的回路控制 67
5.1 引言 67
5.2 关节空间控制 68
5.3 任务空间控制 74
5.4 实验 77
5.5 本章小结 89

第II部分
机器人交互控制的强化学习
第6章 机器人位置/力控制的强化学习 92
6.1 引言 92
6.2 使用阻抗模型的位置/力控制 93
6.3 基于强化学习的位置/力控制 96
6.4 模拟和实验 104
6.5 本章小结 110
第7章 用于力控制的连续时间强化学习 111
7.1 引言 111
7.2 用于强化学习的K均值聚类 112
7.3 使用强化学习的位置/力控制 116
7.4 实验 123
7.5 本章小结 129

第8章 使用强化学习在最坏情况下的不确定性机器人控制 130
8.1 引言 130
8.2 使用离散时间强化学习的鲁棒控制 131
8.3 具有k个最近邻的双Q学习 135
8.4 使用连续时间强化学习的鲁棒控制 142
8.5 模拟和实验：离散时间情况 146
8.6 模拟和实验：连续时间情况 154
8.7 本章小结 162
第9章 使用多智能体强化学习的冗余机器人控制 163
9.1 引言 163
9.2 冗余机器人控制 164
9.3 冗余机器人控制的多智能体强化学习 169
9.4 模拟和实验 174
9.5 本章小结 179
第10章 使用强化学习的机器人 2神经控制 180
10.1 引言 180
10.2 使用离散时间强化学习的 2神经控制 181
10.3 连续时间的 2神经控制 196
10.4 示例 209
10.5 本章小结 219
第11章 结论 220
附录A 机器人运动学和动力学 222
附录B 强化学习控制 235