智能驾驶与机器视觉

机器视觉作为智能驾驶核心技术，承载了各类路面元素的感知功能，是智能汽车规控（路径规划与车辆控制）的核心信息来源。而在智能驾驶的研发过程中，视觉（包含雷达）感知的精度与效率是智能驾驶落地及量产的控制性工程，直接决定了智能驾驶汽车的安全性与用户体验，其重要程度不言而喻。本书涵盖了面向智能驾驶的机器视觉关键技术，包括标定、数据、场景、任务、算法、优化等量产一线的全栈知识。除摄像头外，其他传感器及感知技术也有涉及，包括激光雷达、毫米波雷达以及超声波传感器。在此基础上，本书还介绍了各类感知融合技术。为了让读者更加系统性地学习上述感知技术，本书介绍了智能驾驶的关键硬件基础、关键算法基础，以及关键数据基础。最后，本书还涵盖了智能驾驶目标发展现状及趋势，对于企业及高校从事智驾研发人员来说，可以作为很好的借鉴及选题参考。 本书主要面向高校计算机学院、汽车学院，以及车企等与智能驾驶相关的研究人员、开发人员以及学生等。本书既可以用于智能驾驶的入门级教材，也可用于智能驾驶开发的参考工具书。

杨聪 博士毕业于德国锡根大学（University of Siegen），师从Marcin Grzegorzek教授，研究方向为机器视觉与模式识别。后在法国国家信息与自动化研究所（INRIA）进行博士后研究，师从Marie-Odile Berger教授，方向集中于机器视觉并涉及多个学科的交叉。 2017年回国，担任扩博智能（Clobotics）算法团队负责人，带领团队成功研发并交付了多个人工智能相关产品。2019年加入地平线（Horizon Robotics），担任南京人工智能高等研究院高级研究员，带领团队深度参与了地平线征程2-5代芯片在智能驾驶领域的落地与量产。现任苏州大学副教授，苏州大学-地平线智能驾驶生态创新中心主任，先后在IJCV，TVCG, TIP，TITS等国内外知名期刊或会议发表学术论文近70篇，专著2本，主编教材4部，专利近40个（含美国专利4个）。

前言 第1章　智能驾驶概述 1.1　智能驾驶简介 1.2　智能驾驶分类 1.3　智能驾驶现状 1.3.1　乘用车 1.3.2　货车 1.3.3　出租车 1.3.4　无人小车 1.3.5　公交车 1.3.6　类汽车智能驾 1.4　智能驾驶与机器视觉 1.4.1　视觉感知 1.4.2　视觉定位 练习题 第2章　智能驾驶场景 2.1　高速场景 2.2　城区场景 2.3　泊车场景 2.4　园区场景 2.5　其他场景 2.5.1　地外场景 2.5.2　农用场景 2.5.3　室内场景 练习题 第3章　关键硬件基础 3.1　整体架构 3.2　视觉传感器 3.2.1　摄像头类型 3.2.2　摄像头布局 3.2.3　摄像头标定 3.3　其他传感器 3.3.1　激光雷达 3.3.2　毫米波雷达 3.3.3　超声波传感器 3.4　计算平台 3.4.1　芯片制造 3.4.2　AI芯片 3.4.3　片上系统（SoC） 3.4.4　域控制器（DCU） 3.4.5　计算平台示例 练习题 第4章　关键算法基础 4.1　深度学习 4.1.1　卷积神经网络 4.1.2　卷积层 4.1.3　激活函数 4.1.4　池化层 4.1.5　全连接层 4.1.6　批量归一化层 4.1.7　损失函数 4.1.8　模型训练 4.1.9　模型压缩 4.2　视觉感知 4.2.1　分类 4.2.2　检测 4.2.3　分割 4.2.4　深度估计 4.2.5　高程估计 4.2.6　关键点 4.2.7　OCR 4.2.8　其他 4.3　视觉定位 4.3.1　特征提取 4.3.2　特征匹配 4.3.3　光流跟踪 4.3.4　非线性优化 4.3.5　多传感器融合 4.4　框架与工具链 4.4.1　算法框架 4.4.2　算法工具链 练习题 第5章　关键数据基础 5.1　数据采集 5.1.1　采集平台 5.1.2　采集规范 5.1.3　数据挖掘 5.1.4　常用公开数据集 5.2　数据标注 5.2.1　标注平台 5.2.2　2D标注 5.2.3　2.5D 标注 5.2.4　4D标注 5.2.5　数据标注文档 5.2.6　标注体系建设 5.3　数据仿真 5.3.1　数据仿真技术 5.3.2　业界案例介绍 5.4　数据闭环 5.4.1　数据闭环技术 5.4.2　业界案例介绍 练习题 第6章　视觉感知任务 6.1　场景识别 6.2　静态感知 6.2.1　角点检测 6.2.2　路面坑洞检测 6.2.3　道路边沿检测 6.2.4　灯牌检测 6.2.5　可行驶区域检测 6.2.6　竖杆检测 6.2.7　减速带检测 6.2.8　施工区域检测 6.2.9　停车位检测 6.2.10　光源检测 6.3　动态感知 6.4　地面标识感知 6.4.1　地面标识 6.4.2　停止线/斑马线检测 6.4.3　车道线检测 6.5　通用检测 6.5.1　一般障碍物检测 6.5.2　通用物体感知 6.5.3　高程 6.6　预测与规划 6.6.1　轨迹预测 6.6.2　轨迹规划 练习题 第7章　视觉感知算法 7.1　目标分类 7.2　目标检测 7.3　深度估计 7.4　语义分割 7.5　车道线 7.6　BEV感知 7.7　占用网络 7.8　高程网络 7.9　雷达感知 7.10　轨迹预测 7.11　视觉多任务 练习题 第8章　视觉建图与定位 8.1　视觉建图 8.1.1　高精建图 8.1.2　众包建图 8.1.3　重感知轻地图 8.2　视觉定位 8.2.1　基于地图的定位 8.2.2　轻地图中的定位 8.3　业界案例 8.3.1　行车场景 8.3.2　泊车场景 练习题 第9章　视觉与多传感器融合 9.1　融合感知 9.2　前中后分类 9.2.1　前融合 9.2.2　中融合 9.2.3　后融合 9.3　强弱分类 9.3.1　强融合 9.3.2　弱融合 9.4　其他融合方法 练习题 第10章　未来发展趋势 10.1　市场发展趋势 10.2　技术发展趋势 10.2.1　电子电气架构 10.2.2　计算芯片 10.2.3　算法 10.3　生态发展趋势 练习题 附录　术语与符号列表 参考文献