智能车辆强化学习与决策控制技术

\\\"强化学习是人工智能领域近年来崛起的新兴技术，在机器人、图像识别、语音识别等多个领域有着重要应用，而自主行为决策则是车辆智能化的重要体现。本书将二者结合起来，从数据采集、模型构建、模型验证等角度系统性地阐述了一系列基于强化学习的行为决策方法。全书共7章，第1,2章介绍了智能车辆系统的基本构成，以及强化学习技术的基础知识；第3至6章基于不同强化学习的特点，详细阐述了经典强化学习、深度强化学习、逆强化学习和分层强化学习在智能车行为决策系统构建中的应用，以及如何测试这些系统；第7章则从更宏观的角度探讨了目前强化学习方法在迁移和泛化方面的缺陷，并介绍了一种可迁移的强化学习决策方法。 书中涉及的所有模型和数据均来自于作者团队的研究成果，每一章都有相关的引申阅读材料，可供读者参考。 本书可作为智能交通系统、智能车辆、地面无人车辆及移动机器人等相关专业高年级本科生和研究生的教学资料，也可以作为从事智能决策与控制技术领域研究的科研技术人员的参考资料。\\\"

\"吕超，北京理工大学智能车辆研究所副教授，2009年于北京理工大学获工学学士学位，2015年于英国利兹大学获工学博士学位，CAA平行智能专业委员会委员，世界交通大会（WTC）技术委员会委员，主持或参与自然基金青年项目、面上项目、联合基金项目、重点项目，国家重点研发计划项目等多个国家级项目，发表包括Transportation Research Part C、IEEE TITS、IEEE TVT 等SCI/EI检索论文70余篇，出版专著多部。 龚建伟，北京理工大学智能车辆研究所教授、博士生导师，无人车技术工信部重点实验室学术方向带头人。1992年本科毕业于国防科技大学，2002年于北京理工大学机器人研究中心获工学博士学位，2011-2012在美国麻省理工学院机器人车辆课题组从事无人车研究。1997年至今一直从事地面无人车辆决策规划控制、感知基础理论与关键技术研究，出版专著8本，发表论文100余篇，申请专利90余项，在国内外学术大会受邀报告30余次。 龚乘，2020年于北京理工大学专业获工学学士学位，2020年至今于北京理工大学智能车研究所攻读博士学位，主要研究方向为智能车辆类人决策控制及其自主学习技术，参与自然基金青年项目、面上项目、国家重点研发计划项目等多个国家级项目，获2022 CRAIC百度Apollo城市道路自动驾驶虚拟仿真赛一等奖、2022WAIC AI驾驶仿真大赛一等奖等多项科创竞赛奖项，发表SCI/EI检索期刊与国际会议论文12篇。\"

第1章 智能车辆系统概述 1.1 智能车辆介绍 1.1.1 智能车辆架构 1.1.2 智能车辆发展摘记 1.2 智能车辆的基本组成部分 1.2.1 环境感知与场景理解模块 1.2.2 决策控制模块 第2章 强化学习基础 2.1 强化学习概述 2.1.1 强化学习的特点 2.1.2 强化学习的发展历史 2.2 马尔可夫决策过程 2.2.1 马尔可夫过程 2.2.2 马尔可夫决策过程分析 2.2.3 贝尔曼方程 2.3 Q迭代与Q学习 2.3.1 Q迭代 2.3.2 时序差分算法 2.3.3 Q学习 2.4 函数逼近 2.4.1 函数逼近方法 2.4.2 值函数逼近 2.5 深度强化学习 2.5.1 深度强化学习原理 2.5.2 深度Q网络 第3章 基于经典强化学习的决策控制技术 3.1 CARLA仿真平台介绍 3.2 基于Q学习的决策控制 3.2.1 纵向决策控制 3.2.2 横向决策控制 3.2.3 路径跟踪 3.2.4 学习人类驾驶员 3.3 基于NQL的速度控制 3.3.1 NOL原理 3.3.2 NOL模型构建 3.3.3 NOL方法测试 第4章 基于分层强化学习的决策控制技术 4.1 分层强化学习方法及原理 4.1.1 半马尔可夫决策过程 4.1.2 分层强化学习原理概述 4.2 基于分层强化学习的自主超车决策方法 4.2.1 基于半马尔可夫决策过程和运动基元的超车决策模块 4.2.2 基于马尔可夫决策过程和社会偏好的超车决策模块 4.3 基于半马尔可夫决策过程和运动基元的超车决策模块仿真实验 4.3.1 离线运动基元提取结果 4.3.2 超车决策模块实验结果及分析 4.4 基于马尔可夫决策过程和社会偏好的超车决策模块实车实验 4.4.1 基于智能驾驶平台的实车数据采集及预处理 4.4.2 超车决策模块实验 第5章 基于深度强化学习的决策控制技术