智能驾驶：视觉感知后处理

内容简介 在智能驾驶的发展过程中，获取交通信息、认知和理解交通世界成为智能化汽车的核心任务之一，视觉感知及相关处理技术无疑成为至关重要的技术支撑。然而，智能驾驶视觉感知领域涉及多个学科的交叉，包括计算机视觉、图像处理、传感器技术等，这使得初学者和从业者在进入该领域时，往往面临着较高技术门槛，需要花费大量的时间和精力去学习和整合这些分散的知识，才能够在这个领域中有所建树。 阅读本书，你将掌握以下内容： （1）智能驾驶的发展历程、现状、趋势以及分类； （2）自动驾驶领域的常用摄像头方案，摄像头成像模型与标定方法。 （3）自动驾驶常见障碍物（如车辆、行人等）的测距和跟踪，以及常见路面静态标识（如车道线等）的后处理方式。 （4）视觉感知的原理、方法及后处理各种技术。 （5）智能车辆量产过程中出现的常见问题，并提出了对摄像头硬件方案、常见障碍物检测及后处理方式。 （6）当前自动驾驶领域中的前沿方向——多摄像头感知算法，从多摄像头标定、融合、多摄像头感知算法和后处理融合算法，让读者快速了解当前自动驾驶视觉感知技术领域的最新动态。

韦松，智能驾驶领域的资深技术专家，目前就职于吉咖智能，担任感知算法总监，主要从事自动驾驶感知相关的算法开发和落地工作，带领团队完成某热门车型智能驾驶系统的落地和交付。曾就职于挚途科技等多家创业公司，从0到1完成了这些公司的团队组建、技术开发、产品交付等工作，涉及的产品包括智能相机、商用车感知系统、机器人感知系统等。

前　言<br />第1章　智能驾驶与视觉感知后处理1　<br />1.1　智能驾驶概述1<br />1.1.1　智能驾驶的发展1<br />1.1.2　智能驾驶系统的分级2<br />1.1.3　智能驾驶系统的发展趋势5<br />1.2　视觉感知在智能驾驶中的应用7<br />1.2.1　计算机视觉概述7<br />1.2.2　计算机视觉原理7<br />1.2.3　计算机视觉在智能驾驶中的应用8<br />1.2.4　视觉后处理与智能驾驶9<br />1.2.5　视觉感知在智能驾驶中的发展趋势10<br />第2章　摄像头硬件系统11　<br />2.1　摄像头的硬件组成和工作原理12<br />2.2　摄像头时间戳15<br />2.3　摄像头在自动驾驶中的应用17<br />2.4　摄像头关键参数21<br />2.5　车规级摄像头性能要求21<br />第3章　摄像头标定24　<br />3.1　摄像头标定数学知识24<br />3.1.1　外积24<br />3.1.2　欧氏变换25<br />3.1.3　旋转矩阵与旋转向量26<br />3.1.4　变换矩阵和齐次坐标27<br />3.1.5　欧拉角28<br />3.1.6　四元数29<br />3.2　坐标系概述30<br />3.2.1　世界坐标系到摄像头坐标系的转换30<br />3.2.2　摄像头坐标系到图像坐标系的转换31<br />3.2.3　图像坐标系到像素坐标系的转换32<br />3.3　摄像头成像模型33<br />3.3.1　针孔摄像头成像模型34<br />3.3.2　鱼眼摄像头成像模型38<br />3.4　摄像头标定方法40<br />3.4.1　张正友标定法41<br />3.4.2　产线EoL标定法43<br />3.4.3　售后标定法45<br />3.4.4　行车自标定法47<br />3.4.5　消失点标定法47<br />3.4.6　基于车道线宽度假设标定法52<br />第4章　车道线检测及后处理53　<br />4.1　车道线检测53<br />4.1.1　基于传统图像算法的车道线检测方法53<br />4.1.2　基于深度学习的车道线检测方法59<br />4.2　车道线曲线拟合68<br />4.2.1　常用的拟合算法68<br />4.2.2　车道线曲线模型78<br />4.3　车道线跟踪81<br />4.3.1　车道线关联82<br />4.3.2　滤波跟踪原理83<br />4.3.3　车道线跟踪的运动模型84<br />4.3.4　基于扩展卡尔曼滤波的车道线跟踪90<br />4.3.5　车道线结构化假设95<br />4.4　车道线与辅助驾驶功能99<br />4.4.1　C-NCAP2021与车道线99<br />4.4.2　车道线偏离预警100<br />4.4.3　常见问题以及解决方法103<br />第5章　视觉障碍物后处理110　<br />5.1　视觉障碍物检测110<br />5.1.1　基于传统图像算法的障碍物检测方法110<br />5.1.2　基于深度学习的障碍物检测方法122<br />5.2　障碍物测距130<br />5.2.1　车辆测距130<br />5.2.2　行人、骑行人、两轮车测距149<br />5.3　基于视觉的目标跟踪152<br />5.3.1　目标跟踪方法153<br />5.3.2　多目标跟踪方法164<br />5.4　红绿灯与交通标识牌的视觉后处理170<br />5.4.1　红绿灯视觉后处理170<br />5.4.2　交通标识牌视觉后处理175<br />5.5　视觉后处理与辅助驾驶功能177<br />5.5.1　CNCAP中的AEB177<br />5.5.2　AEB与视觉测距183<br />5.5.3　常见问题以及解决方法187<br />5.5.4　视觉后处理总结196<br />第6章　多摄像头感知后处理197　<br />6.1　多摄像头标定198<br />6.1.1　双目摄像头标定198<br />6.1.2　多摄像头标定199<br />6.2　多摄像头融合201<br />6.2.1　多摄像头立体匹配201<br />6.2.2　多摄像头图像处理209<br />6.2.3　多摄像头目标融合214<br />6.2.4　多摄像头下的车道线融合217<br />6.3　多视觉感知后处理与BEV算法220<br />