自动驾驶BEV感知算法指南

本书由智能汽车领域实践型专家联合撰写，带你一次性学透BEV，实现快速落地与创新。在内容设计上，本书以BEV主流技术与工程实践为主线，系统分析介绍BEV算法的基本原理、关键技术和源码级实现方法，助你掌握自动驾驶感知系统的整体架构和设计理念。 本书共9章。第1章介绍BEV感知算法的核心概念和框架，强调其独特优势及挑战。第2章概述关键数据集，如KITTI、nuScenes和Waymo，并解释了评估算法性能的指标。第3章深入介绍特征提取技术，涵盖图像和激光雷达数据的提取方法。第4章探讨视角转换、注意力机制及Transformer在BEV感知算法中的应用。第5章和第6章分别讲解显式和隐式视角转换下的BEV感知算法，如BEVDet系列和BEVFormer等。第7章和第8章通过实例介绍BEV感知算法的实现过程。第9章讨论大模型在自动驾驶领域的应用及面临的挑战。

易显维：易智数维的创始人、中国地质大学硕士。10余年研发经验，曾先后任职于建行数据中心、科大讯飞研究院以及百分点科技集团认知智能实验室。长期为东风集团提供技术支持与方案咨询，在实车感知算法与机器人视觉项目方面拥有丰富且宝贵的经验。其研究方向涵盖机器视觉、自然语言处理、结构化数据挖掘等多个领域。曾在各种竞赛中获奖20余次。<br />虞凡：东风畅行公司首席出行官、西安交通大学计算机软件科学技术博士。拥有10余年工作经验，曾于清华大学软件学院进行博士后研究工作，现负责东风畅行公司的Robotaxi商业探索、平台软件工程效率提升、网络出行平台算法设计等工作，也曾联合创建网约车平台公司。他发表高水平论文10余篇，获得发明专利授权10余项，获得武汉市车谷英才称号。其研究方向包括软件工程中的形式化方法和AI算法，专注于大数据分析、知识图谱、网络出行平台和出行算法设计。

前　言第1章　快速了解BEV感知<br />算法1　1.1　BEV感知算法解决的问题1<br />　1.2　BEV感知算法的常见范式7<br />　1.3　BEV感知算法的分类9<br />1.3.1　基于单应性的方法9<br />1.3.2　基于深度估计的方法10<br />1.3.3　基于多层感知器的<br />方法12<br />1.3.4　基于Transformer的<br />方法13<br />　1.4　BEV感知算法的不足14<br />　1.5　本章小结16第2章　BEV感知算法的<br />数据集17　2.1　KITTI数据集18<br />　2.2　nuScenes数据集25<br />　2.3　nuScenes数据集常用的评测<br />指标及计算方法39<br />2.3.1　检测任务评测指标计算<br />公式40<br />2.3.2　跟踪任务评测指标计算<br />公式42<br />2.3.3　其他辅助指标计算公式42<br />　2.4　Waymo数据集46<br />　2.5　不同数据集之间的对比47<br />　2.6　本章小结48第3章　BEV感知算法的特征<br />提取49　3.1　图像模态49<br />3.1.1　相机的内外参数49<br />3.1.2　图像特征提取和ResNet<br />原理54<br />　3.2　激光雷达模态中点云目标<br />检测的代表算法55<br />3.2.1　PointPillar算法55<br />3.2.2　PV-RCNN算法58<br />　3.3　本章小结61第4章　BEV感知算法的基本<br />模块62　4.1　视角转换模块62<br />4.1.1　自动驾驶中的坐标系63<br />4.1.2　坐标系转换与视角转换<br />模块65<br />4.1.3　LSS原理69<br />4.1.4　LSS代码实现与模型<br />运行71<br />　4.2　BEV感知算法中的注意力<br />机制82<br />4.2.1　通道注意力机制82<br />4.2.2　空间注意力机制83<br />4.2.3　混合注意力机制83<br />4.2.4　BEV感知算法中的时序<br />融合83<br />　4.3　本章小结86第5章　显式视角转换的BEV<br />感知算法87　5.1　基于LSS方法的显式视角转换的<br />BEV感知算法89<br />5.1.1　BEVDet89<br />5.1.2　BEVDet4D91<br />　5.2　BEVDet中的视角转换过程91<br />　5.3　BEVDet4D中的时序对齐93<br />　5.4　本章小结94第6章　隐式视角转换的BEV<br />感知算法95　6.1　传统目标检测方法与DETR<br />类方法95<br />6.1.1　传统目标检测方法的<br />局限性96<br />6.1.2　DETR类方法的优点97<br />　6.2　主要的隐式视角转换的BEV<br />感知算法98<br />6.2.1　BEVFormer98<br />6.2.2　DETR3D102<br />6.2.3　PETR103<br />　6.3　DETR3D计算过程106<br />6.3.1　图像特征提取106<br />6.3.2　特征查询模块107<br />6.3.3　二分图匹配108<br />6.3.4　DETR和DETR3D的<br />异同108<br />　6.4　隐式转换DETR、DETR3D和<br />PETR的主要差别109<br />　6.5　本章小结110第7章　BEVFusion实践111　7.1　原理详解111<br />7.1.1　网络架构112<br />7.1.2　图像支路113<br />7.1.3　点云支路114<br />7.1.4　融合模块115<br />　7.2　代码详解116<br />7.2.1　nuScenes数据集<br />处理116<br />7.2.2　模型训练过程131<br />　7.3　环境搭建149<br />7.3.1　搭建PyTorch环境149<br />7.3.2　安装BEVFusion150<br />7.3.3　编译BEVFusion<br />环境151<br />7.3.4　训练和测试<br />BEVFusion152<br />　7.4　本章小结153第8章　BEVFormer实践154　8.1　代码详解154<br />8.1.1　数据处理155<br />8.1.2　模型训练过程156<br />　8.2　环境搭建190<br />8.2.1　创建虚拟环境190<br />8.2.2　安装BEVFormer191<br />　8.3　模型部署192<br />　8.4　本章小结192第9章　大模型在自动驾驶领域<br />的应用193　9.1　端到端的自动驾驶系统<br />UniAD194<br />9.1.1　UniAD的提出背景194<br />9.1.2　UniAD架构196<br />　9.2　赋能自动驾驶数据生产和<br />模型训练197<br />9.2.1　辅助标注数据198<br />9.2.2　模型蒸馏给小模型<br />赋能200<br />9.2.3　将多个小模型合并成<br />大模型201<br />9.2.4　自动驾驶的重建和数据<br />生成201<br />　9.3　视觉大模型的难点202<br />9.3.1　视觉大模型发展相对落后<br />的原因202<br />9.3.2　视觉大模型的技术挑战与<br />实践难点203<br />　9.4　本章小结204<br />