计算机视觉三维测量与建模

基于计算机视觉的三维空间数据获取和处理技术正处在一个蓬勃发展的时期，相关的三维测量与建模的研究成果被广泛地应用于各个行业领域中。与数字图像处理技术相比，计算机视觉三维测量与建模技术更关注观测场景的空间几何结构信息和传感器载体的位置姿态信息。它利用射影几何、线性代数和数值优化等理论，从二维影像数据中恢复重建出三维空间结构信息和传感器的位置姿态数据，使观测者能够获得目标对象的三维物理尺寸数据以及摄像机等传感器的位置姿态关系。此外，三维点云的数据形式近年来受到越来越多的关注，许多应用问题的解决方法都从二维影像处理过渡到三维点云处理。本书介绍摄像机成像的基本数学模型，分析摄像机的标定原理、影像的特征提取与匹配算法、由运动恢复结构的理论和流程，以及由立体视觉重建稠密三维点云的方法。此外，本书进一步延伸到图形学几何建模的相关知识，介绍三维点云的空间滤波理论和表面网格化的建模方法。书中包含著者多年的学习和实践积累，可以为读者提供计算机视觉相关的三维数据获取与处理的理论和技术参考。
本书既可以作为高等院校计算机视觉、摄影测量与遥感和电子信息工程等相关专业的研究生或高年级本科生的参考教材，又可以作为针对三维数据处理进行研究的学者和科研人员的参考书，同时可供工业从业者和决策者参考阅读。

李明磊，博士，南京航空航天大学副教授。研究领域涉及计算机视觉、摄影测量与遥感、计算机图形学，主要研究内容包括：基于图像的三维重建、激光雷达LiDAR三维点云处理、深度学习、工业测量和数字城市建模等。主持国家自然科学基金2项和省级自然科学基金1项，主持航天科工、航天科技、中航工业、中船重工等十余项产学研项目。获省部级以上科技奖励3项。

第1章绪论1
1.1数字影像2
1.1.1数字影像概念2
1.1.2常见的影像类型3
1.1.3空间域和频率域处理4
1.2射影几何学基础5
1.2.1射影几何意义5
1.2.2射影变换5
1.2.3二维射影空间6
1.2.4三维射影空间8
1.2.5二维仿射变换9
1.2.6几何元素的分层表达10
1.3欧氏空间坐标转换11
1.3.1二维坐标转换11
1.3.2三维坐标转换12
1.4成像模型与成像系统中的坐标系14
1.4.1成像模型中的几何元素14
1.4.2成像系统中的坐标系15
1.4.3透视投影成像模型16
1.5常见的三维成像方式19
1.5.1人工输入方法20
1.5.2主动式扫描方法20
1.5.3被动式扫描方法23
1.6三维计算机视觉的应用24
1.6.1三维计算机视觉测量的应用领域24
1.6.2三维计算机视觉测量系统的常见技术指标参数25
1.6.3三维计算机视觉与摄影测量的关系26
1.6.4三维计算机视觉测量面临的问题26
1.7小结27
参考文献27
第2章摄像机的几何标定30
2.1摄像机标定参数30
2.1.1内参数30
2.1.2外参数32
2.1.3标定方法分类32
2.2摄像机内参数标定33
2.2.1直接线性变换法33
2.2.2Tsai1987标定方法36
2.2.3Zhang1999标定方法37
2.3静态场景多视角下摄像机系统的自标定39
2.3.1基础矩阵39
2.3.2度量自标定41
2.3.3基于灭点的自标定方法44
2.4摄像机系统的半自动标定45
2.4.1标定装置46
2.4.2自动提取角点46
2.4.3人工靶标标志47
2.5摄像机与激光雷达的联合标定49
2.5.1多源融合的意义49
2.5.2时空配准50
2.5.3摄像机与激光雷达的联合标定50
2.6应用举例52
2.6.1标定工具箱52
2.6.2多源传感器联合标定53
2.7小结54
参考文献55
第3章影像特征提取表达58
3.1影像特征的基本概念58
3.1.1特征表达形式58
3.1.2像素特征的基本要求59
3.1.3邻域范围59
3.2边缘和线特征提取60
3.2.1梯度算子61
3.2.2Canny边缘检测64
3.2.3Snake边缘提取65
3.2.4霍夫变换检测直线66
3.3点特征提取67
3.3.1Harris角点67
3.3.2FAST角点69
3.3.3SIFT特征提取70
3.3.4SURF特征提取74
3.3.5ORB特征检测77
3.3.6AKAZE特征检测78
3.3.7Lucas-Kanade光流算法79
3.3.8卷积神经网络特征提取81
3.4纹理特征表达82
3.4.1纹理的概念82
3.4.2纹理特征类型83
3.4.3纹理特征应用举例85
3.5应用举例86
3.5.1目标跟踪86
3.5.2全景拼接86
3.6小结87
参考文献88
第4章由运动恢复结构90
4.1对极几何90
4.1.1极线与极点90
4.1.2基础矩阵92
4.1.3本质矩阵93
4.2影像的单应变换94
4.2.1投影矩阵和影像单应矩阵之间的关系94
4.2.2基础矩阵和影像单应矩阵之间的关系95
4.3求解二视图的基础矩阵96
4.3.1八点算法96
4.3.2七点算法98
4.3.3鲁棒算法98
4.3.4退化情况100
4.3.5三视图和四视图几何计算100
4.4摄像机位置姿态和场景结构恢复101
4.4.1初始化影像位置姿态和场景结构101
4.4.2由本质矩阵提取摄像机矩阵102
4.4.3更新结构和位置姿态104
4.4.4PnP问题105
4.5光束法平差105
4.5.1光束法平差模型105
4.5.2最小二乘原理107
4.5.3高斯-牛顿算法107
4.5.4列文伯格-马奎特算法108
4.5.5光束法平差的LM算法模型109
4.5.6稀疏光束法平差109
4.6应用举例111
4.7小结113
参考文献113
……