强化学习与机器人控制

　　在《强化学习与机器人控制》一书中，专家团队不仅简洁明了地描述了人机交互控制方案，还深入介绍了新颖的无模型强化学习控制器。本书首先简述更先进的人机交互控制方案和强化学习，然后讲解典型的环境模型，最后介绍一些更著名的参数估计识别技术。 　　《强化学习与机器人控制》提供了严谨的数学推理和演示，这有助于读者理解控制方案和算法。书中还描述了人机交互控制和基于强化学习控制的稳定性和收敛性分析。另外，还讨论了一些前沿话题，如逆运动学和速度运动学解决方案、神经控制以及机器人领域未来可能的发展趋势。 ● 全面介绍基于模型的人机交互控制 ● 详细研究基于欧拉角的无模型人机交互控制和“人机回圈”机制控制 ● 实际讨论机器人位置和力控制的强化学习以及机器人力控制的连续时间强化学习 ● 深入研究使用强化学习来控制最坏情况下不确定性的机器人，并使用多智能体强化学习对冗余机器人进行控制

　　Wen Yu，博士，墨西哥城国家政治研究所(CINVESTAV-IPN）投资研究中心的教授和自动化控制系主任，Modeling and Control of Uncertain Nonlinear Systems with Fuzzy Equations and Z-Number 一书的合著者。 　　Adolfo Perrusquía，博士，英国贝德福德郡克兰菲尔德大学航空航天、运输和制造学院的研究员。

目 录 第I部分 人机交互控制 第1章 介绍 2 1.1 人机交互控制 2 1.2 控制强化学习 5 1.3 本书的结构安排 6 第2章 人机交互的环境模型 10 2.1 阻抗和导纳 10 2.2 人机交互阻抗模型 15 2.3 人机交互模型的识别 18 2.4 本章小结 25 第3章 基于模型的人机交互控制 26 3.1 任务空间阻抗/导纳控制 26 3.2 关节空间阻抗控制 29 3.3 准确性和鲁棒性 30 3.4 模拟 33 3.5 本章小结 38 第4章 无模型人机交互控制 39 4.1 使用关节空间动力学进行任务空间控制 39 4.2 使用任务空间动力学进行任务空间控制 47 4.3 关节空间控制 48 4.4 模拟 49 4.5 实验 55 4.6 本章小结 65 第5章 基于欧拉角的回路控制 67 5.1 引言 67 5.2 关节空间控制 68 5.3 任务空间控制 74 5.4 实验 77 5.5 本章小结 89 第II部分 机器人交互控制的强化学习 第6章 机器人位置/力控制的强化学习 92 6.1 引言 92 6.2 使用阻抗模型的位置/力控制 93 6.3 基于强化学习的位置/力控制 96 6.4 模拟和实验 104 6.5 本章小结 110 第7章 用于力控制的连续时间强化学习 111 7.1 引言 111 7.2 用于强化学习的K均值聚类 112 7.3 使用强化学习的位置/力控制 116 7.4 实验 123 7.5 本章小结 129 第8章 使用强化学习在最坏情况下的不确定性机器人控制 130 8.1 引言 130 8.2 使用离散时间强化学习的鲁棒控制 131 8.3 具有k个最近邻的双Q学习 135 8.4 使用连续时间强化学习的鲁棒控制 142 8.5 模拟和实验：离散时间情况 146 8.6 模拟和实验：连续时间情况 154 8.7 本章小结 162 第9章 使用多智能体强化学习的冗余机器人控制 163 9.1 引言 163 9.2 冗余机器人控制 164 9.3 冗余机器人控制的多智能体强化学习 169 9.4 模拟和实验 174 9.5 本章小结 179 第10章 使用强化学习的机器人 2神经控制 180 10.1 引言 180 10.2 使用离散时间强化学习的 2神经控制 181 10.3 连续时间的 2神经控制 196 10.4 示例 209 10.5 本章小结 219 第11章 结论 220 附录A 机器人运动学和动力学 222 附录B 强化学习控制 235