公共安全决策技术与方法

在公共安全风险日益复杂化的情况下，我们亟需培养兼具扎实数理基础和实际工程经验的应急决策人才，这使得专门针对公共安全领域的教材十分重要。本书可以说是弥补空缺的一本教材，是一本针对公共安全领域的决策类教材。本书特色鲜明，立足一点而不失广度。在例题和案例的选择上，既有简化条件的应急救援和物资运输等问题，也有基于日本地震等实际灾害场景的人员疏散等问题，还有疫情防空的具体数据估算，使得读者可以充分理解书中的公式定理，掌握书中的方法应用。

本书介绍了马尔可夫决策过程及其他相关方法在公共安全领域的应用，从处理大多数实际
问题使用的马尔可夫假设开始，围绕着马氏决策过程和动态规划贝尔曼方程，依次介绍有限状态问题、无限状态问题和折扣成本问题，之后分别针对马氏过程的各个要素，从状态集、动作集等方面进行扩展深化，介绍了Q学习、近似线性规划、隐马尔可夫模型和部分可观测马尔科夫模型，并用一章简略介绍其他常用决策算法。本书主要面向安全科学与工程专业的高年级本科生，可作为其安全决策方法类课程的教材，同时也可作为其他运筹规划类学科马尔可夫过程部分的参考资料。

陈涛，研究员，博士生导师，清华大学工程物理系副系主任，清华大学合肥公共安全研究院院长助理，兼任中国灾害防御协会风险分析专业委员会委员、北京市公安部消防局消防技术服务机构评审专家等职务；主要从事国家应急平台体系关键技术研发，突发事件应急决策模型与技术，复杂灾害环境下的人员心理行为及模拟技术，突发事件人群避难、疏散与安置技术等研究；曾获国家科技进步一等奖，教育部科技进步一等奖，中国地理信息科技进步一等奖，北京市科学技术奖二等奖和“十一五”科技支撑计划优秀团队等重大奖项。

第1章 马尔可夫决策理论简介 1
1.1 序列决策问题 1
1.2 马尔可夫过程定义 2
1.3 马尔可夫决策理论表示方法 4
1.4 马尔可夫决策过程问题分类 7
第2章 有限阶段问题 8
2.1 有限阶段问题概述与逆推归纳法 8
2.2 动态规划理论 12
2.3 相关例题与讲解 15
第3章 折扣成本问题 20
3.1 折扣成本问题的引入 20
3.2 贝尔曼方程与动态规划算子 21
3.3 数值迭代算法与解的存在性 23
3.4 贝尔曼方程解的专享性 29
3.5 策略迭代算法 30
3.6 平稳策略很优化 35
第4章 平均成本问题 36
4.1 问题描述与问题转化 36
4.2 平均成本问题的很优策略 38
4.3 与折扣成本问题的关系 39
第5章 Q学习 46
5.1 异步数值迭代与实时数值迭代 46
5.2 探索-利用权衡 47
5.3 Q函数与Q学习算法 49
5.4 Q学习算法的收敛性分析 50
5.5 Q学习的应用实例 51
第6章 线性规划方法 55
6.1 贝尔曼方程求解的线性规划表述 55
6.2 线性规划问题的对偶形式 56
6.3 近似线性规划 58
6.4 应用实例 61
第7章 隐马尔可夫模型 66
7.1 隐马尔可夫模型简介 66
7.2 隐马尔可夫模型动力学 67
7.3 前向算法 69
7.4 后向算法 74
7.5 维特比算法 78
第8章 部分可观测马尔可夫决策过程 85
8.1 HMM滤波 85
8.2 有限阶段POMDP问题 86
8.3 POMDP的信念空间表述 88
8.4 机器更换的POMDP示例 90
8.5 有限观测状态的有限阶段POMDP求解方法介绍 93
8.5.1 准确算法：逐步剪枝 94
8.5.2 Lovejoy次优算法 95
第9章 应用案例介绍 97
9.1 灾难中的人员疏散问题 97
9.2 基于马尔可夫过程和SEIR模型的传染病预测 100
9.2.1 模型分析 101
9.2.2 数据来源及参数 102
9.2.3 结果分析 104
9.2.4 不足与改进 106
9.3 贫困县精准扶贫资源分配优化 107
9.3.1 精准扶贫解析 107
9.3.2 模型假设 108
9.3.3 模型构建 108
9.3.4 算例验证 110
9.4 基于马尔可夫决策过程的国家撤侨方案设计 112
9.4.1 撤侨模型的建立步骤 113
9.4.2 利比亚撤侨问题的MATLAB®仿真 117
9.4.3 结论与总结 120
第10章 其他常用算法介绍 122
10.1 贪婪算法 122
10.2 分治算法 123
10.3 回溯法 124
10.4 分支限界法 125
10.5 大数据决策方法概述 128
附录 数学基础补充内容 129
参考文献 131