深度强化学习算法及其在智能决策中的应用研究

量化投资作为金融科技的创新形式之一，其利用数学、统计学和计算机科学等定量方法来制定投资策略和决策的投资方法，其主要目标是通过分析大量的市场数据和历史价格走势，以找到可预测的模式和趋势，从而优化投资组合，降低风险，提高收益。相较于传统金融交易策略，量化投资通常采用计算机程序自动执行交易，以减少人为情感因素的干扰，提高交易效率。但由于金融市场受社会、政治、经济和文化等多种外在因素的影响，导致金融数据具有高维度、高噪声、非线性等特点，使得传统计量经济学方法对数据中有效信息的提取能力非常有限，很难把握突发事件背景下金融市场的非平稳动态和复杂的交互作用。人工智能技术的发展为金融时间序列建模以及稳健投资组合的构建提供了新方法。特别是自2015年AlphaGo在围棋比赛中取得里程碑式的胜利，深度强化学习算法展现出其独特的优势，在处理复杂的决策问题方面已经展示出巨大潜力，并受到来自各个领域研究者的广泛关注。深度强化学习算法是将深度学习的感知理解能力与强化学习的决策能力相结合，实现了端到端的学习，是一种更加接近人类思维方式的人工智能方法。因此，本书拟通过对深度学习及深度强化学习算法进行深入研究，并对其进行改进以构建稳定的投资组合策略。

马聪，女，1994年生，西安交通大学统计学博士，西北大学经济管理学院数理经济与统计学系讲师。主要从事机器学习算法、量化金融、金融大数据等方面的研究。共发表SCI论文10余篇，目前主持国家自然科学基金、教育部人文社科项目、陕西省自然科学基金项目、陕西省教育厅项目4项，参与多项国家级项目。,孙若斌，男，1993年生，西安交通大学机械工程博士，西安交通大学机械学院助理教授。主要从事信号处理、时间序列分析、故障诊断等方面的研究。共发表论文20余篇，主持国家自然科学基金、中国博士后面上项目等多项。

目录 1. 绪论 1.1 研究背景 1.2 选题意义 1.3 研究思路与研究内容 1.4 研究特色与创新之处 1.5 本书的结构安排 2. 国内外研究现状综述 2.1 金融产品价格预测 2.2 金融市场状态特征提取 2.3 在线投资组合交易策略 2.4 金融模型的可解释性研究 2.5 本章小结 3. 深度强化学习算法概述 3.1 深度学习的原理 3.1.1 全连接神经网络 3.1.2 循环神经网络 3.1.3 卷积神经网络 3.2 正则化算法 3.2.1 早停法 3.2.2L1 3.2.3L2正则化 3.2.4 Dropout 3.2.5 批量归一化 3.2.6 层归一化 3.3 深度强化学习算法的原理 3.4 最优价值算法 3.4.1 Q学习算法 3.4.2 深度Q网络 3.5 基于策略梯度的算法 3.5.1 策略梯度法 3.5.2 演员-评论家算法 3.6 本章小结 4. 基于信息瓶颈理解正则化算法的工作原理 4.1 引言 4.2 相关工作 4.3 正则项的工作原理 4.4 实验 4.4.1 添加惩罚项到损失函数中的正则项 4.4.2 几种正则化技巧 4.4.3 正则化算法对模型逐层表示的影响 4.5 本章小结 5. 多模块并行的单资产交易策略 5.1 引言 5.2 PMMRL算法介绍 5.2.1 状态空间、行动空间以及奖励函数 5.2.2 PMMRL算法介绍 5.3 实证研究 5.3.1 实验数据和实验设置 5.3.2 基准算法 5.3.3 实验结果 5.4 本章小结 6. 趋势一致的多智能体在线投资组合策略 6.1 引言 6.2 投资组合强化学习算法 6.2.1 状态空间 6.2.2 动作空间 6.2.3 奖励函数 6.3 趋势一致的在线投资组合策略 6.3.1 趋势判别器 6.3.2 趋势一致正则项 6.3.3 TC-MARL算法的结构 6.4 实证研究 6.4.1 实验数据及实验设置 6.4.2 基准算法 6.4.3 实验结果 6.5 风险管理 6.6 本章小结 7. 总结与展望 7.1 总结 7.2 展望 参考文献 附录 后记