城市交通信号控制建模与优化：基于智能计算和深度强化学习

本书围绕城市交通信号控制难题，综合运用智能计算与深度强化学习技术展开介绍。开篇阐述了交通拥堵现状及智能交通系统发展背景，梳理了交通信号控制技术的研究现状。接着，针对多交叉口信号协同控制，提出半分布式三层框架及相应优化模型与算法；针对传统车流动力学建模局限，引入单智能体深度强化学习方法，创新动作空间、奖励函数等；针对多交叉口信号控制难题，提出新算法并结合平均场理论等机制，解决维度灾难和Q值过估计问题。 本书所提模型和算法均通过仿真实验，有较强的实践指导意义。本书适合交通工程领域的工程师及科研人员学习，也可用作高等院校相关专业的教学参考书。

无

第1章绪论001～020 1.1交通信号控制技术研究背景002 1.2交通信号控制技术分类及国内外研究现状006 1.2.1基于经典方法的交通信号控制技术006 1.2.2基于深度强化学习的交通信号控制技术009 1.2.3基于车联网的交通信号控制技术012 1.2.4交通信号控制技术的研究现状015 1.3本书主要思路及内容016 1.3.1主要思路016 1.3.2主要内容017 第2章基础知识021～044 2.1进化计算方法概述022 2.2强化学习概述024 2.3单智能体深度强化学习032 2.4多智能体深度强化学习034 2.4.1随机博弈035 2.4.2纳什Q学习036 2.4.3多智能体深度确定性策略梯度算法037 2.5平均场多智能体强化学习038 2.5.1平均场近似理论039 2.5.2平均场多智能体强化学习算法042 2.6本章小结044 第3章基于车流动力学的交通信号控制问题建模及优化算法045～076 3.1引言046 3.2交通场景下的基本参数和评价指标047 3.2.1基本参数047 3.2.2评价指标050 3.3多交叉口交通信号控制问题描述051 3.4多交叉口交通信号控制问题建模054 3.4.1相位差延迟模型054 3.4.2绿信比延迟模型056 3.4.3改进的公共周期模型057 3.4.4信号协同优化模型057 3.4.5交叉口分级策略058 3.5基于免疫的烟花算法060 3.5.1烟花算法和免疫机制的基本思想060 3.5.2基于免疫的烟花算法设计061 3.6仿真与分析065 3.6.1仿真环境及实验参数设置065 3.6.2交通环境下的仿真与分析067 3.6.3标准函数下的仿真与分析073 3.7本章小结075 第4章基于深度强化学习的单智能体交通信号控制077～106 4.1引言078 4.2基于马尔可夫决策过程的交通信号控制问题描述079 4.2.1状态空间079 4.2.2动作空间081 4.2.3奖励函数083 4.2.4累积延迟的近似088 4.3基于动态权重的soft actor-critic算法089 4.3.1动态权重089 4.3.2基于动态权重的soft actor-critic算法设计091 4.4仿真与分析095 4.4.1仿真平台设置095 4.4.2算法参数设置098 4.4.3交通环境下的仿真与分析099 4.4.4标准连续控制任务下的仿真与分析103 4.5本章小结105 第5章基于深度强化学习的多智能体交通信号控制107～130 5.1引言108 5.2基于马尔可夫博弈的交通信号控制问题描述109 5.3合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法112 5.3.1强化学习中的Q值过估计问题112 5.3.2基于指数加权移动平均的动态延迟更新策略115 5.3.3合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法设计117 5.4仿真与分析121 5.4.1仿真平台设置121 5.4.2算法参数设置123 5.4.3仿真结果与分析124 5.5本章小结130 第6章总结与展望131～136 6.1总结132 6.2展望134 附录137～140 参考文献141～155