具身智能机器人系统

大模型技术的突飞猛进，给机器人技术注入了新的活力。具身智能机器人这个概念，尽管已经存在了超过三十年，但现在又重新引起了学术界和工业界的大量关注。从作者们长期在机器人计算方面的研究基础出发，本书希望帮助读者理解具身智能机器人和传统机器人计算之间的关系，判断未来具身智能机器人的发展方向。本书既包括了传统的机器人计算栈，又囊括了具身智能大模型给机器人计算带来的变化和可能的挑战。本书在写作过程中，强调了面向读者的普适性。具有一定工程数学、计算机科学的基础知识的读者，均可以阅读并理解本书的内容。

第1 部分具身智能机器人背景知识 第1 章自主经济的崛起：具身智能机器人的影响与发展 2 1.1 产业发展概况 3 1.1.1 国际产业发展现状 3 1.1.2 国内产业发展现状 6 1.2 问题与挑战 6 1.2.1 应用场景的不确定性 7 1.2.2 产业链成本高企 7 1.2.3 系统集成难度较大 7 1.2.4 数据瓶颈 8 1.2.5 伦理规范 8 1.3 小结 9 第2 章具身智能机器人的历史与未来 10 2.1 何谓具身智能 10 2.2 具身智能发展历史 11 2.3 具身智能的传统技术方向 12 2.3.1 基于行为的人工智能 12 2.3.2 受神经生物学启发的人工智能 13 2.3.3 认知发展机器人学 13 2.3.4 进化机器人学 14 2.3.5 物理体现与互动 15 2.4 基于大模型的具身智能技术 16 2.4.1 赋能具身智能机器人的基础大模型分类 17 2.4.2 具身智能机器人设计自动化 17 2.5 小结 19 第2 部分具身智能机器人基础模块 第3 章机器人计算系统 21 3.1 概述 21 3.2 自主机器人计算系统 22 3.3 自动驾驶 25 3.3.1 自动驾驶简史 25 3.3.2 自动驾驶计算系统 26 3.4 具身智能机器人 32 3.4.1 从自动驾驶到具身智能 33 3.4.2 具身智能计算系统 34 3.5 小结 36 第4 章自主机器人的感知系统 38 4.1 概述 38 4.2 物体检测 38 4.3 语义分割 41 4.4 立体视觉与光流 43 4.4.1 立体视觉与深度估计 44 4.4.2 光流 45 4.5 鸟瞰视角感知 49 4.5.1 基于激光雷达的BEV 感知 49 4.5.2 基于相机的BEV 感知 51 4.5.3 基于融合的BEV 感知 55 4.6 小结 57 第5 章自主机器人的定位系统 58 5.1 概述 58 5.2 自主机器人的定位任务 59 5.3 自主机器人的定位原理 61 5.3.1 自主机器人定位系统分类 61 5.3.2 自主机器人定位算法原理 63 5.4 自主机器人定位的计算系统 69 5.4.1 多传感器数据对齐 69 5.4.2 自主机器人定位的计算平台 71 5.5 小结 72 第6 章自主机器人的规划与控制系统 73 6.1 概述 73 6.2 路径规划和轨迹规划 74 6.2.1 路径规划 74 6.2.2 轨迹规划 76 6.2.3 变分方法 77 6.2.4 图搜索方法 79 6.2.5 增量搜索策略 80 6.3 基于强化学习的规划与控制 83 6.3.1 强化学习基本原理 83 6.3.2 基于强化学习的规划与控制方法 85 6.4 小结 88 第3 部分具身智能机器人大模型 第7 章具身智能机器人大模型 91 7.1 概述 91 7.2 ChatGPT for Robotics: 故事的开始 92 7.2.1 背景与工作动机 92 7.2.2 ChatGPT 解决机器人控制问题的突出能力 92 7.2.3 ChatGPT for Robotics 的设计原则和工作流程 94 7.2.4 贡献与局限性 95 7.3 Robotic Transformers：多模态大模型的应用 96 7.4 未来工作发展方向 98 7.4.1 小模型的成功 99 7.4.2 更多的模态 101 7.5 小结 102 第8 章大模型用于机器人计算，颠覆还是进步 103 8.1 概述 103 8.2 从算法开发者角度看具身智能大模型 103 8.2.1 具身智能机器人在医疗领域的应用 103 8.2.2 具身智能机器人在工业生产中的应用 106 8.2.3 具身智能机器人在家庭环境中的应用 107 8.3 给机器人接上大脑？从机器人系统开发看具身智能大模型 109 8.4 具身智能大模型的现状：成功率、实时性、安全性及其他 110 8.5 小结 112 第9 章构建具身智能基础模型 114 9.1 背景知识 114 9.1.1 元学习 114 9.1.2 上下文学习 115 9.1.3 模型预训练 115 9.1.4 模型微调 116 9.2 具身智能基础模型 117 9.3 关键选择及利弊权衡 118 9.4 克服计算和内存瓶颈 119 9.5 小结 120 第4 部分具身智能机器人计算挑战 第10 章加速机器人计算 122 10.1 概述 122 10.2 机器人定位模块加速 122 10.3 机器人规划模块加速 127 10.4 机器人控制模块加速 134 10.5 因子图：机器人加速器的通用模板 136 10.6 小结 146 第11 章算法安全性 147 11.1 概述 147 11.2 人工智能安全：横亘在算法与应用之间的绊脚石 148 11.3 深度神经网络的攻击与防御 149 11.3.1 逃逸攻击 149 11.3.2 投毒攻击 151 11.3.3 探索攻击 152 11.3.4 防御方法 152 11.4 大模型中的安全问题 153 11.5 大模型安全隐患VS. 具身智能机器人安全 156 11.6 小结 157 第12 章系统可靠性 158 12.1 概述 158 12.2 机器人系统的可靠性漏洞 158 12.2.1 机器人本体的可靠性漏洞 158 12.2.2 机器人计算系统的可靠性漏洞 160 12.3 提升系统鲁棒性的常见方法 164 12.4 自适应冗余方法：提升鲁棒性的同时降低系统负担 166 12.5 小结 169 第13 章具身智能的数据挑战 170 13.1 具身智能的数据价值 170 13.2 具身智能的数据瓶颈 171 13.3 AIRSPEED 系统设计 173 13.4 具身智能数据采集端点 175 13.5 仿真服务 176 13.6 数据对齐服务 177 13.7 小结 178 第5 部分具身智能机器人应用案例 第14 章实例研究 180 14.1 系统设计 180 14.2 系统效果 185 14.3 小结 187 后记：总结与展望 189 参考文献 192