机器人视觉

本书以机器人视觉为主题，系统地介绍了该领域的基础理论、核心技术以及相关应用与发展趋势。本书详细讲解了图像成像原理、图像处理技术、立体视觉、深度估计、视觉特征提取与匹配、视觉定位与建图、目标识别、目标位姿估计等多个方面的内容，不仅为读者提供了扎实的理论基础知识，也能帮助其了解最新的技术进展和应用实例。本书围绕机器人视觉主题，按照理论发展的顺序和知识体系的内在逻辑对各个章节的内容进行了严谨的编排，每一章既独立成篇，又与其他章的内容有机结合，全书内容连贯，逻辑清晰。 　　本书可作为普通高校机器人、自动化、人工智能、智能制造等专业的教材，也可作为相关专业的工程技术人员深入了解和掌握机器人视觉技术的学习资料。无论是对于初学者还是有一定基础的专业人士，相信本书都可以成为他们深入了解和掌握机器人视觉技术的重要工具。 　　本书配有电子课件、教学大纲、习题答案等教学资源，欢迎选用本书作教材的教师登录www.cmpedu.com注册后下载。

高等院校教师

第1章?绪论 1 1.1?机器人视觉概述 1 1.1.1?人类视觉的组成与功能 1 1.1.2?机器人视觉的定义 3 1.1.3?机器人视觉的特点与优势 4 1.2?机器人视觉系统组成 5 1.2.1?视觉传感器 6 1.2.2?光源 7 1.2.3?图像采集模块 8 1.2.4?视觉计算模块 9 1.3?机器人视觉任务分类 10 1.3.1?空间感知任务 10 1.3.2?类别感知任务 11 1.4?机器人视觉的应用领域 13 1.4.1?工业制造 14 1.4.2?智能交通 15 1.4.3?医疗健康 16 1.4.4?农业 17 1.4.5?安防 18 1.4.6?服务机器人 19 1.5?机器人视觉未来挑战与发展趋势 20 1.6?本书的内容安排 21 习题与思考题 23 参考文献 23 第2章?相机成像和投影理论 26 2.1?成像原理简介 26 2.2?相机模型 27 2.3?相机标定 29 2.3.1?棋盘格定义和检测 30 2.3.2?相机位姿、内参和畸变参数求解 31 2.3.3?非线性优化标定 33 2.3.4?工具箱 34 2.4?投影理论 34 2.4.1?平面几何 35 2.4.2?消失点理论 37 2.4.3?距离测量 39 本章小结 40 习题与思考题 41 参考文献 41 第3章?机器人视觉图像处理基础 42 3.1?图像的表示和存储 42 3.1.1?图像的基本概念 42 3.1.2?数字图像表示 42 3.1.3?图像的分类 44 3.2?图像的基本操作 45 3.2.1?图像变换 46 3.2.2?灰度变换 51 3.3?图像的滤波和增强 53 3.3.1?图像的滤波 53 3.3.2?图像的增强 56 3.4?图像的检测与分割 57 3.4.1?图像的检测 57 3.4.2?图像的分割 69 本章小结 76 习题与思考题 76 参考文献 77 第4章?双目视觉和对极几何 78 4.1?双目视觉原理 78 4.2?双目视觉标定 79 4.3?对极几何及双目矫正 81 4.3.1?双目的对极几何约束 81 4.3.2?基础矩阵 83 4.3.3?双目矫正 83 4.4?双目匹配及深度估计 85 4.4.1?双目匹配 86 4.4.2?深度估计 88 4.4.3?误差分析 89 4.5?主动双目视觉 90 本章小结 91 习题与思考题 91 参考文献 92 第5章　特征提取与匹配 93 5.1　视觉特征 93 5.2　特征提取方法 94 5.2.1　角点提取 94 5.2.2　快速计算 96 5.2.3　不变性 98 5.2.4　尺度不变性 99 5.3　特征描述方法 100 5.3.1　主方向 101 5.3.2　尺度不变特征变换 102 5.4　特征的匹配 103 本章小结 104 习题与思考题 104 参考文献 105 第6章　机器人位姿估计 106 6.1　机器人位姿估计的概念与数字表示 106 6.1.1　状态估计简介 106 6.1.2　位姿估计的数学表示 106 6.2　基于特征点法的视觉里程计 109 6.2.1　基于对极几何的2D-2D位姿求解 109 6.2.2　基于PnP的2D-3D位姿求解 113 6.2.3　基于ICP的3D-3D位姿求解 117 6.3　基于直接法的视觉里程计 119 6.3.1　光流估计 120 6.3.2　直接法求解机器人位姿 122 6.4　关键帧的概念及其选取策略 124 6.4.1　关键帧的概念 124 6.4.2　关键帧选取策略 125 本章小结 126 习题与思考题 127 参考文献 127 第7章　机器人视觉同时定位与建图 128 7.1　SLAM概述 128 7.1.1　SLAM的概念与分类 128 7.1.2　经典视觉SLAM算法框架 129 7.2　前端设计方案 131 7.2.1　传感器选型 131 7.2.2　里程计估计方法 132 7.3　后端优化方法 132 7.3.1　滤波器方法 133 7.3.2　图优化方法 136 7.4　闭环检测 139 7.4.1　闭环检测的概念与意义 139 7.4.2　词袋模型 139 7.4.3　相似度计算 141 7.5　全局地图构建与表示 144 7.5.1　面向机器人应用的地图表达与存储 144 7.5.2　典型地图表示方法 146 本章小结 148 习题与思考题 148 参考文献 148 第8章　机器人目标识别 150 8.1　目标识别的基本任务和分类 150 8.2　目标分类方法 150 8.2.1　基于聚类的方法 151 8.2.2　基于机器学习的算法 154 8.2.3　基于深度学习的算法 158 8.3　目标检测方法 163 8.3.1　两阶段检测 163 8.3.2　一阶段检测 167 8.4　目标分割方法 173 8.4.1　全卷积网络 173 8.4.2　U-Net网络 175 8.4.3　SegNet网络 176 8.4.4　DeepLab系列 177 8.4.5　PSPNet网络 179 8.4.6　Transformer 180 本章小结 185 习题与思考题 186 参考文献 186 第9章　机器人目标位姿估计 188 9.1　面向抓取的目标位姿估计应用背景 188 9.1.1　工业场景 188 9.1.2　家用场景 189 9.1.3　目标位姿估计技术难点 189 9.2　目标3D位姿表示与描述 191 9.2.1　变换矩阵 191 9.2.2　欧拉角与四元数 192 9.2.3　评价指标 194 9.3　目标位姿估计方法分类 196 9.3.1　基于特征点匹配的目标位姿估计 196 9.3.2　基于深度学习的目标位姿估计 198 9.4　基于深度学习的3D目标位姿估计 198 9.4.1　基于深度学习的非端到端目标位姿估计 199 9.4.2　基于深度学习的端到端目标位姿估计 202 9.4.3　发展趋势 204 本章小结 206 习题与思考题 207 参考文献 207