自动驾驶BEV感知算法指南

1）智能汽车领域实践型专家联合撰写，一次性学透BEV，实现快速落地与创新 2）以BEV主流技术与工程实践为主线，系统分析介绍BEV算法的基本原理、关键技术和源码级实现方法，掌握自动驾驶感知系统的整体架构和设计理念 3）初学者友好、理论与实践结合，获得多位业界专家极力推荐

本书由智能汽车领域实践型专家联合撰写，带你一次性学透BEV，实现快速落地与创新。在内容设计上，本书以BEV主流技术与工程实践为主线，系统分析介绍BEV算法的基本原理、关键技术和源码级实现方法，助你掌握自动驾驶感知系统的整体架构和设计理念。
本书共9章。第1章介绍BEV感知算法的核心概念和框架，强调其独特优势及挑战。第2章概述关键数据集，如KITTI、nuScenes和Waymo，并解释了评估算法性能的指标。第3章深入介绍特征提取技术，涵盖图像和激光雷达数据的提取方法。第4章探讨视角转换、注意力机制及Transformer在BEV感知算法中的应用。第5章和第6章分别讲解显式和隐式视角转换下的BEV感知算法，如BEVDet系列和BEVFormer等。第7章和第8章通过实例介绍BEV感知算法的实现过程。第9章讨论大模型在自动驾驶领域的应用及面临的挑战。

前言
第1章 快速了解BEV感知算法1
1.1 BEV感知算法解决的问题1
1.2 BEV感知算法的常见范式7
1.3 BEV感知算法的分类9
1.3.1 基于单应性的方法9
1.3.2 基于深度估计的方法10
1.3.3 基于多层感知器的方法12
1.3.4 基于Transformer的方法13
1.4 BEV感知算法的不足14
1.5 本章小结16
第2章 BEV感知算法的数据集17
2.1 KITTI数据集18
2.2 nuScenes数据集25
2.3 nuScenes数据集常用的评测指标及计算方法39
2.3.1 检测任务评测指标计算公式40
2.3.2 跟踪任务评测指标计算公式42
2.3.3 其他辅助指标计算公式42
2.4 Waymo数据集46
2.5 不同数据集之间的对比47
2.6 本章小结48
第3章 BEV感知算法的特征提取49
3.1 图像模态49
3.1.1 相机的内外参数49
3.1.2 图像特征提取和ResNet原理54
3.2 激光雷达模态中点云目标检测的代表算法55
3.2.1 PointPillar算法55
3.2.2 PV-RCNN算法58
3.3 本章小结61
第4章 BEV感知算法的基本模块62
4.1 视角转换模块62
4.1.1 自动驾驶中的坐标系63
4.1.2 坐标系转换与视角转换模块65
4.1.3 LSS原理69
4.1.4 LSS代码实现与模型运行71
4.2 BEV感知算法中的注意力机制82
4.2.1 通道注意力机制82
4.2.2 空间注意力机制83
4.2.3 混合注意力机制83
4.2.4 BEV感知算法中的时序融合83
4.3 本章小结86
第5章 显式视角转换的BEV感知算法87
5.1 基于LSS方法的显式视角转换的BEV感知算法89
5.1.1 BEVDet89
5.1.2 BEVDet4D91
5.2 BEVDet中的视角转换过程91
5.3 BEVDet4D中的时序对齐93
5.4 本章小结94
第6章 隐式视角转换的BEV感知算法95
6.1 传统目标检测方法与DETR类方法95
6.1.1 传统目标检测方法的局限性96
6.1.2 DETR类方法的优点97
6.2 主要的隐式视角转换的BEV感知算法98
6.2.1 BEVFormer98
6.2.2 DETR3D102
6.2.3 PETR103
6.3 DETR3D计算过程106
6.3.1 图像特征提取106
6.3.2 特征查询模块107
6.3.3 二分图匹配108
6.3.4 DETR和DETR3D的异同108
6.4 隐式转换DETR、DETR3D和PETR的主要差别109
6.5 本章小结110
第7章 BEVFusion实践111
7.1 原理详解111
7.1.1 网络架构112
7.1.2 图像支路113
7.1.3 点云支路114
7.1.4 融合模块115
7.2 代码详解116
7.2.1 nuScenes数据集处理116
7.2.2 模型训练过程131
7.3 环境搭建149
7.3.1 搭建PyTorch环境149
7.3.2 安装BEVFusion150
7.3.3 编译BEVFusion环境151
7.3.4 训练和测试BEVFusion152
7.4 本章小结153
第8章 BEVFormer实践154
8.1 代码详解154
8.1.1 数据处理155
8.1.2 模型训练过程156
8.2 环境搭建190
8.2.1 创建虚拟环境190
8.2.2 安装BEVFormer191
8.3 模型部署192
8.4 本章小结192
第9章 大模型在自动驾驶领域的应用193
9.1 端到端的自动驾驶系统UniAD194
9.1.1 UniAD的提出背景194
9.1.2 UniAD架构196
9.2 赋能自动驾驶数据生产和模型训练197
9.2.1 辅助标注数据198
9.2.2 模型蒸馏给小模型赋能200
9.2.3 将多个小模型合并成大模型201
9.2.4 自动驾驶的重建和数据生成201
9.3 视觉大模型的难点202
9.3.1 视觉大模型发展相对落后的原因202
9.3.2 视觉大模型的技术挑战与实践难点203
9.4 本章小结204