多视点图像的二维与三维场景建模——流形建模与Cayley方法的原理及应用

借用摄像机这个特殊的眼睛（可以是单眼、双眼或复眼），力图将所见的五彩斑斓的世界——图像序列——中包含的信息拼合在一起来还原物理场景，以构建新的认识，这是基于多视点图像的视觉建模技术的核心问题。本书利用摄像机成像的数学模型、流形建模的“对应原理”以及数学定义中的转换映射概念，自然而流畅地得到了一组关于视觉场景建模的基础性数学公式，进而给出它们在二维图像拼接与三维重建中的应用。在具体的应用中，Cayley变换起了重要的作用。全书共9章，依次是数学预备知识、多视图几何基本概念、视觉建模的底层算法、流形建模、二维场景建模、三维场景建模、摄像机位姿估计方法、三维点云配准方法、新型光学成像系统与场景建模简介。本书可为计算机视觉、机器人视觉导航、视觉无损检测以及应用数学等领域的大学生、研究生以及科技工作者提供理论与技术参考。

张鸿燕 博士，海南师范大学信息科学技术学院研究生导师，2013年度国家留学基金委公派法国国立民航大学访问学者。曾任西安电子科技大学讲师、中国民航大学中欧航空工程师学院工程科学教研室主任。主要从事计算机视觉、数据分析及STEM教育与工程教育的教学和研究工作。主持国家自然科学基金项目2项，海南省自然科学基金(高层次人才项目)2项。在国内外重要期刊或会议上发表SCI与SSCI检索的论文多篇。

第1章数学预备知识
1.1实射影空间与齐次坐标
1.2群的直积与半直积.
1.3变换群
1.3.1一般线性变换群GL(n,F).
1.3.2射影变换群PGL(n,F)
1.3.3平移变换群GT(n,F)
1.3.4仿射变换群GA(n,F)
1.3.5正交变换群O(n,R)与特殊正交变换群SO(n,R).
1.3.6相似变换群GS(n,R)与特殊相似变换群Sim(n,R)
1.3.7Euclid变换群E(3,R)与特殊Euclid变换群SE(3,R)
1.3.8酉变换群U(n)与特殊酉变换群SU(n).
1.3.9M?bius变换群.
1.4拓扑与流形.
1.4.1拓扑空间与连续映射.
1.4.2距离空间
1.4.3流形
1.5Lie群与Lie代数
1.5.1Lie群.
1.5.2代数与Lie代数.
1.6三种矩阵运算
1.6.1奇异值分解.
1.6.2矩阵的张量积
1.6.3矩阵向量化.
1.7Cayley变换.
1.7.1Cayley变换的定义与基本性质.
1.7.2Cayley变换与不变量
本章小结.
第2章多视图几何基本概念
2.1图像的数学描述.
2.1.1图像与二元函数.
2.1.2图像点的坐标描述
2.2小孔成像与针孔摄像机模型.
2.2.1摄像机投影与摄像机矩阵.
2.2.2摄像机标定与畸变参数
2.2.3匹配点对与三角原理.
2.3极几何与两视点图像三维重建
2.3.1极几何.
2.3.2绝对二次曲线及其对偶
2.3.3射影重建定理
2.4图像序列的三维重建
2.4.1结构与运动初始化
2.4.2结构与运动更新.
2.4.3结构与运动的全局优化
2.4.4度量重建
2.4.5分层重建：从射影重建到度量重建.
2.4.6稀疏重建与稠密重建.
本章小结.
第3章视觉建模的底层算法
3.1线性模型参数估计的优化算法
3.1.1最小二乘算法的三种基本形式.
3.1.2尺度总体最小二乘算法
3.1.3Levenberg-Marquardt算法
3.1.4LM算法与STLS算法的关系.
3.2图像特征分析简介
3.3彩色图像的帧间单应估计算法
3.3.1光流分析
3.3.2偏导数计算的Simoncelli方法.
3.3.3单应模型估计
3.3.4算法的实验验证.
3.4实时处理中的特征均匀化方法
3.4.1ORB特征描述.
3.4.2四叉树原理.
3.4.3特征均匀化分布的设计与实现.
3.4.4实验结果与分析.
3.5SIFT类特征的快速匹配算法
3.5.1类SIFT特征描述子.
3.5.2描述子预筛选
3.5.3k-d树检索.
3.5.4类SIFT特征描述子快速匹配的PS-ANN算法.
3.5.5实验结果与分析.
本章小结.
第4章流形建模.
4.1流形建模的基本思想
4.1.1物理场景与流形.
4.1.2数学概念与计算机视觉概念的对应关系..
4.2流形建模与二维拼接
4.2.1近平坦流形建模与图像拼接
4.2.2圆柱流形建模与图像拼接.
4.3流形建模与坐标配准
4.3.1转换映射与坐标配准.
4.3.2图像拼接中的坐标配准
4.3.3三维重建中的坐标配准
本章小结.
第5章二维场景建模
5.1背景与基本假设.
5.2条带整形操作
5.2.1光流场的均匀化.
5.2.2管道场景的条带整形操作.
5.3管道场景的图像拼接
5.3.1拼接算法的步骤.
5.3.2拼接算法
5.3.3算法的实验验证.
5.3.4消化道建模中的应用
本章小结
第6章三维场景建模.
6.1视点增加的递推算法
6.1.1核心问题.
6.1.2坐标配准矩阵的估计
6.1.3视点增加算法.
6.2基于视觉SLAM系统的室内场景三维重建..
6.2.1深度图像数据采集与预处理.
6.2.23D点云的生成与配准
6.2.3闭环检测后的点云优化.
6.3基于SfM的二维拼接与三维重建组合方法.
6.3.1应用需求.
6.3.2算法的实现基础
6.3.3两视点下的二维拼接与三维重建的联合计算.
6.3.4图像序列的二维与三维联合处理方法.
6.3.5二维拼接与三维重建相结合的三维建模系统.
本章小结
第7章摄像机位姿估计方法
7.1摄像机位姿估计方法概述
7.2摄像机位姿估计的Cayley方法.
7.2.1本质矩阵与几何约束
7.2.2姿态估计的Cayley方法.
7.2.3位姿估计的Cayley方法与SVD分解方法的区别.
7.2.4实验结果与分析
7.3PnP问题的Cayley方法
7.3.1PnP问题与常用算法
7.3.2PnP问题的Cayley方法
7.3.3实验结果与分析
本章小结
第8章三维点云配准方法.
8.1概述
8.2三维点云配准的基本概念
8.3三维点云配准的Cayley方法
8.3.1问题描述.
8.3.2数据预处理——零均值化
8.3.3代价函数的等价形式与位移的估计
8.3.4尺度因子的估计
8.3.5旋转矩阵的估计
8.3.6三维点云配准矩阵估计算法