随机动态决策理论与应用

本书介绍随机动态决 策的理论与应用。全书共 14章，分为理论篇和应用 篇。第1章～第6章为理论 篇，内容包括离散时间马 尔可夫决策过程（有限阶 段、无限阶段折扣准则、 无限阶段平均准则），半 马尔可夫决策过程，连续 时间马尔可夫决策过程， 强化学习与近似算法；第 7章～第14章为应用篇， 内容包括库存管理，收益 管理，网上拍卖，网上拍 卖下的收益管理、库存管 理，技术的采用与选择， 排队（服务）系统的最优 控制，组合证券选择与风 险管理，供应链动态管理 。 本书适合作为高等院 校管理科学、运筹学、自 动控制、计算机科学等专 业的研究生教材，也可供 对动态决策理论、人工智 能诸方面感兴趣的研究人 员阅读。

理论篇 第1章 有限阶段 1.1 单阶段决策 1.2 多阶段动态决策：确定性 1.3 多阶段马尔可夫决策过程 1.3.1 模型 1.3.2 最优方程与最优策略 1.4 若干随机动态决策问题 1.4.1 期权的购买与执行问题 1.4.2 最优选择问题 1.4.3 产品定价问题 1.5 模函数与单调策略 1.5.1 最优策略的单调性 1.5.2 受罚款限制的最优分配问题 习题 参考文献 第2章 离散时间马尔可夫决策过程：折扣准则 2.1 模型与折扣最优方程 2.1.1 模型 2.1.2 最优方程 2.2 算法 2.2.1 逐次逼近法(值迭代法) 2.2.2 策略迭代法 2.2.3 线性规划法 2.3 应用 2.3.1 最优停止问题 2.3.2 项目管理：Bandit问题 2.4 MDP模型的推广 2.4.1 一种无界报酬条件 2.4.2 非可数决策集 2.4.3 一般策略集 2.5 期望总报酬准则 2.5.1 模型缩减 2.5.2 报酬函数的有限性 2.5.3 最优值函数的有限性及最优方程 习题 参考文献 第3章 离散时间马尔可夫决策过程：平均准则 3.1 平均准则的最优方程 3.1.1 平均准则的最优方程与最优策略 3.1.2 常返性条件 3.1.3 有限MDP 3.2 算法 3.2.1 逐次逼近法 3.2.2 策略迭代法 3.2.3 线性规划法 3.3 最优不等式 本章附录：若干引理 习题 参考文献 第4章 半马尔可夫决策过程 4.1 半马尔可夫决策过程模型 4.1.1 SMDP模型 4.1.2 正则性条件 4.1.3 准则函数 4.2 转换为离散时间马尔可夫决策过程 4.2.1 期望折扣总报酬准则 4.2.2 平均准则 4.3 马尔可夫型SMDP 4.4 模型推广：报酬函数的一般形式 习题 参考文献 第5章 连续时间马尔可夫决策过程 5.1 时齐模型 5.2 期望折扣总报酬准则 5.2.1 折扣准则 5.2.2 期望折扣总报酬准则 5.3 平均准则 5.4 非时齐模型 习题 参考文献 第6章 强化学习与近似算法 6.1 强化学习：折扣准则 6.1.1 折扣目标函数值的估计 6.1.2 强化学习算法 6.1.3 TD(λ) 6.2 强化学习：平均准则 6.2.1 平均准则函数值的估计 6.2.2 平均准则的强化学习算法 6.3 近似算法 6.3.1 近似逐次逼近法 6.3.2 近似策略迭代法 习题 参考文献 应用篇 第7章 库存管理 7.1 多周期随机库存管理问题 7.1.1 多周期库存管理问题 7.1.2 有限阶段期望折扣总费用 7.1.3 短视策略 7.2 无限阶段随机存贮问题 7.2.1 无限阶段折扣准则 7.2.2 无限阶段平均准则 7.2.3 损失制 7.3 存贮与定价的联合动态决策 7.3.1 有限阶段 7.3.2 无限阶段 习题 参考文献 第8章 收益管理 8.1 价格固定时的容量分配 8.1.1 静态模型 8.1.2 动态模型 8.1.3 预订和超订 8.2 价格动态变化时的多阶段容量分配 8.3 连续时间动态定价 8.4 基于Priceline的买方／卖方定价收益 管理问题 8.4.1 买方定价 8.4.2 卖方定价 8.5 房地产市场的政府调控策略：基于收益管理 8.6 收益管理的进一步讨论 习题 参考文献 第9章 网上拍卖 9.1 拍卖简介 9.2 单物品网上拍卖中的顾客投标策略 9.2.1 问题与模型 9.2.2 IPV下硬性结束规则的一级价格网上拍卖 9.2.3 IPV下软性结束规则的一级价格网上拍卖 9.2.4 其他类型的网上拍卖 9.3 单阶段多物品网上拍卖的收益 习题 参考文献 第10章 网上拍卖下的收益管理、库存管理 10.1 网上分批拍卖下的收益管理 10.1.1 问题与模型 10.1.2 最优分配策略的单调性 10.1.3 数值分析 10.2 网上拍卖下的库存管理 10.2.1 有限阶段 10.2.2 折扣准则 10.2.3 平均准则 10.2.4 最优保留价 10.2.5 数值分析 习题 参考文献 第11章 技术的采用与选择 11.1 最优更换 11.1.1 有限阶段 11.1.2 无限阶段折扣准则 11.1.3 平均准则 11.2 技术采用 11.3 基于购买的技术更新问题 11.4 基于自行研发的技术更新问题 11.5 新产品策略与库存管理 习题 参考文献 第12章 排队(服务)系统的最优控制 12.1 排队系统的到达控制 12.1.1 M／G／1排队系统的静态到达率控制 12.1.2 M／M／K排队系统的动态到达率控制 12.1.3