场景建模与机器人感知

本书将理论与实践相结合，既包含最基础的算法，又涉及近期新的技术，并附以详细的代码或伪代码资源，以及“章节知识点”等特色内容，期望为从事该领域相关工作的人员提供一些有效的参考。

杨鑫,本科毕业于吉林大学计算机学院，于浙江大学-美国加州大学戴维斯分校计算机学院进行博士生联合培养，获工学博士学位，香港城市大学博士后。现任学校学科建设办公室副主任，分管学校双一流学科规划、学科平台与经费管理工作。主要研究方向为计算机图形学与视觉、类脑计算、多模态大数据分析与决策。

第1章 三维重建 1
1.1 概述 1
1.2 国内外主要研究工作 2
1.2.1 基于多视图几何的三维重建 2
1.2.2 基于深度学习的三维重建 7
1.2.3 小结 15
1.3 技术实践 15
1.3.1 技术案例一：基于多任务的深度图预测 15
1.3.2 技术案例二：主动式目标三维重建与补全优化 24
1.3.3 技术案例三：基于模型替换的场景建模 33
1.3.4 技术案例四：基于无监督学习的场景重建 37
1.3.5 技术案例五：基于单视角图像的场景重建 42
1.4 本章小结 47
1.5 思考题 47
参考文献 48
第2章 场景探索 54
2.1 概述 54
2.2 国内外主要研究工作 54
2.2.1 三维重建中的场景探索 54
2.2.2 视觉语义导航中的场景探索 56
2.2.3 小结 58
2.3 技术实践 58
2.3.1 技术案例一：对象感知引导的自主场景三维重建 58
2.3.2 技术案例二：面向未知三维场景重建系统的设计与实现 71
2.3.3 技术案例三：视觉语义导航中基于语义场景补全的
场景探索 86
2.4 本章小结 97
2.5 思考题 97
参考文献 98
第3章 场景理解 102
3.1 概述 102
3.2 国内外主要研究工作 103
3.2.1 基于物体检测与分类的室内场景理解 103
3.2.2 基于场景图发掘物体关联的室内场景理解 104
3.2.3 小结 105
3.3 技术实践 105
3.3.1 技术案例一：基于卷积神经网络的点云语义分割与分类 105
3.3.2 技术案例二：基于三维场景点云的场景图生成 118
3.4 本章小结 123
3.5 思考题 123
参考文献 123
第4章 机器人导航与避障 126
4.1 概述 126
4.2 国内外主要研究工作 127
4.2.1 经典重定位算法 127
4.2.2 基于深度学习的重定位算法 134
4.2.3 经典导航与避障算法 136
4.2.4 基于深度学习的导航与避障算法 137
4.2.5 小结 139
4.3 技术实践 140
4.3.1 技术案例一：基于特征数据库匹配的相机重定位 140
4.3.2 技术案例二：基于深度学习的相机重定位 145
4.3.3 技术案例三：基于相机重定位的机器人导航 153
4.3.4 技术案例四：基于已知栅格地图的机器人避障 157
4.3.5 技术案例五：基于深度强化学习的多智能体避障 162
4.3.6 技术案例六：基于单目相机的复杂场景自主避障 169
4.4 本章小结 178
4.5 思考题 179
参考文献 179
第5章 机器人抓取 185
5.1 概述 185
5.2 国内外主要研究工作 186
5.2.1 基于分析法和经验法的抓取方式检测 186
5.2.2 基于深度学习的抓取方式检测 187
5.2.3 小结 188
5.3 技术实践 189
5.3.1 技术案例一：基于物体交互动力学的抓取姿态检测 189
5.3.2 技术案例二：基于主动学习的机器人抓取 196
5.3.3 技术案例三：基于FasterR-CNN的机器人抓取 211
5.3.4 技术案例四：基于弱监督语义分割网络的机器人抓取 222
5.3.5 技术案例五：基于生成式的抓取姿态检测 235
5.4 本章小结 242
5.5 思考题 242
参考文献 242
第6章 综合项目实践：面向机器人任务的三维场景建模与理解 247
6.1 项目实践背景 247
6.2 项目实践概述 249
6.3 项目实践结构 249
6.4 主要模块设计与实现 250
6.4.1 多个RGB-D相机的驱动与信息采集 250
6.4.2 基于多RGB-D相机融合的室内场景三维重建 257
6.4.3 基于RGB-D序列的场景标记技术方法 271
6.4.4 平台设计 275
6.5 本章小结 283
6.6 思考题 283
参考文献 283