自动驾驶 感知原理与实践

"多位自动驾驶相关领域资深工程师倾力打造；多位自动驾驶相关领域教授、专家联合力荐。 从理论到实践，详细介绍自动驾驶算法与落地实践。主要内容包括： .计算机视觉与神经网络 .目标检测在自动驾驶中的应用 .语义分割在自动驾驶中的应用 .车道检测与分割 .多目标跟踪在自动驾驶中的应用 .深度学习模型的落地与部署"

本书是一本系统讲解自动驾驶感知技术的图书，同时带有具体的自动驾驶实践案例，以及自动驾驶感知技术的落地部署方案供读者学习。本书主要涉及的内容包括神经网络的基础理论知识、经典卷积神经网络、轻量化卷积神经网络、VisionTransformer、2D目标检测算法（YOLOv5、YOLOX、YOLOv5Lite、NanoDet等算法）、3D激光点云目标检测算法、BEVFormer纯视觉的3D目标检测算法、语义分割、车道线检测、ReID相关技术、多目标跟踪及部署落地的相关技术（如CUDA、OpenCV、NCNN、TensorRT等）。为了让读者全面、深入、透彻地理解所讲解的算法，书中还给出了具体的实践案例，并提供了相应的数据集供读者实践，同时通过对代码的讲解使读者获得实战能力。

"龚心满，硕士，新能源汽车感知融合资深工程师。毕业于中国计量大学控制理论与控制工程专业。曾就职于华人运通自动驾驶科技有限公司，担任深度学习高级工程师职位，负责ADAS感知项目的研发，现就职于吉咖智能机器人有限公司感知算法中心，负责高阶自动驾驶的落地。同时还参与多本人工智能书籍的撰写，也是多个技术专栏的签约作者。在安防和自动驾驶领域都有丰富的经验。 江涛，北京航空航天大学学士，香港中文大学硕士。先后在明星初创公司、研究院、互联网大厂、实验室任职，专注于深度学习与计算机视觉领域的前沿研究、落地部署、AI产品化，是多个国际知名开源项目的活跃贡献者和维护者，也是多个技术专栏的签约作者。 梁功臣，硕士，新能源汽车软件研发高级工程师。毕业于东北大学控制理论与控制工程专业。曾作为项目核心成员于中国科学院沈阳自动化研究所参与相关国家863项目(仿生医疗假肢)的研发科研工作，现就职于蔚来汽车科技有限公司数字架构定义与集成部门。 胡佳慧，硕士，毕业于中国计量大学控制工程专业。现就职于远景科技集团，负责新能源行业智能化项目的研发，同时也是多个知名开源项目的负责人。在人工智能研发与落地方面有着丰富的经验。"

第1章计算机视觉与神经网络1
1.1人工神经网络1
1.1.1感知机2
1.1.2神经网络2
1.2卷积神经网络4
1.2.1卷积4
1.2.2激活函数5
1.2.3池化层6
1.2.4全连接层6
1.3经典卷积神经网络7
1.3.1AlexNet7
1.3.2VGG8
1.3.3GoogLeNet9
1.3.4ResNet11
1.3.5DarkNet14
1.3.6CSPDarkNet16
1.4轻量化卷积神经网络18
1.4.1MobileNet18
1.4.2ShuffleNet22
1.4.3GhostNet25
1.5VisionTransformer在计算机视觉中的应用27
1.5.1ViT27
1.5.2SwinTransformer30
1.5.3MobileViT34
1.5.4TRT-ViT36
1.5.5基于ResNet/MobileViT的交通标识牌识别项目实践38
1.6本章小结55
第2章目标检测在自动驾驶中的应用56
2.1目标检测简介56
2.1.1相关工作简介56
2.1.2两阶段目标检测算法简介57
2.1.3单阶段目标检测算法简介62
2.2自动驾驶中的车辆检测66
2.2.1BDD100K数据集简介66
2.2.2YOLOv5算法的原理67
2.2.3基于YOLOv5的车辆检测项目实践74
2.3自动驾驶中的行人检测81
2.3.1YOLOX算法的原理81
2.3.2基于YOLOX的行人检测项目实践90
2.4自动驾驶中的交通标识牌检测104
2.4.1NanoDet算法的原理104
2.4.2基于NanoDet的交通标识牌检测项目实践110
2.5自动驾驶中的交通信号灯的检测与识别125
2.5.1YOLOv5Lite算法的原理125
2.5.2基于YOLOv5Lite的交通信号灯检测项目实践128
2.63D目标检测131
2.6.1PointPillars132
2.6.2BEVFormer136
2.6.3基于OpenPCDet的3D目标检测项目实践139
2.7本章小结153?
第3章语义分割在自动驾驶中的应用154
3.1STDC算法的原理155
3.1.1STDC模块155
3.1.2STDC语义分割网络157
3.2TopFormer算法的原理160
3.2.1TokenPyramidModule161
3.2.2Scale-AwareSemanticsExtractor162
3.2.3SemanticsInjectionModule162
3.2.4SegmentationHead163
3.3基于TopFormer的可行驶区域分割项目实践163
3.3.1Cityscapes数据集简介163
3.3.2TopFormer模型实现164
3.4本章小结172
第4章车道线检测与分割173
4.1UNet算法的原理174
4.2LaneATT算法的原理176
4.2.1Lane的Anchor表征177
4.2.2基于Anchor的特征图池化177
4.2.3局部注意力机制178
4.2.4Proposal预测179
4.2.5后处理179
4.3基于LaneATT的车道线检测实践180
4.3.1CULane数据集介绍180
4.3.2LaneATT实践180
4.4本章小结186
第5章多目标跟踪在自动驾驶中的应用187
5.1多目标跟踪算法SORT的原理187
5.2多目标跟踪算法DeepSORT的原理192
5.2.1级联匹配192
5.2.2ReID特征提取193
5.3多目标跟踪算法ByteTrack的原理194
5.4基于ByteTrack的多目标跟踪项目实践196
5.4.1MOT16数据集196
5.4.2Byte匹配197
5.5本章小结202
第6章深度学习模型的落地和部署203
6.1常见模型部署框架介绍203
6.1.1TensorRT204
6.1.2NCNN206
6.1.3ONNX206
6.2OpenCV图像处理操作207
6.2.1OpenCV基本操作207
6.2.2使用OpenCV进行图像预处理212
6.3GPU编程工具之CUDA216
6.3.1CUDA编程模型217
6.3.2CUDA线程组织223
6.3.3CUDA内存组织239
6.3.4GPU硬件组织结构242
6.3.5CUDA流245
6.4模型部署框架之TensorRT249
6.4.1使用TensorRTAPI搭建网络结构250
6.4.2从ONNX文件中导入网络结构定义253
6.4.3TensorRT推理引擎的序列化与反序列化254
6.4.4TensorRT的推理257
6.4.5INT8量化259
6.4.6TensorRT的插件开发261
6.5TensorRT模型部署实例263
6.5.1使用OpenCV进行前处理264
6.5.2使用CUDA加速前处理265
6.5.3执行推理操作268
6.5.4后处理270
6.6NCNN模型部署273
6.6.1NCNN部署流程273
6.6.2使用NCNN部署NanoDet276
6.7本章小结284
参考文献285