强化学习实战 强化学习在阿里的技术演进和业务创新

  

本书汇集了阿里巴巴一线算法工程师在强化学习应用方面的经验和心得，覆盖了搜索事业部、阿里妈妈事业部、计算平台事业部以及智能服务事业部等多条业务线，工业界抢先发售系统地披露了强化学习在互联网级别的应用上使用的技术细节，其中更包含了阿里巴巴的算法工程师对强化学习的深入理解、思考和创新。本书主要面向算法工程师，强化学习方向的研究人员以及所有机器学习爱好者。作为算法工程师，你将了解强化学习在实际应用中的建模方法，常见的问题以及对应的解决思路，提高建模和解决业务问题的能力；作为强化学习方向的研究人员，你将了解到在游戏之外更多实际的强化学习问题以及对应的解决方案，扩宽研究视野；作为机器学习爱好者，你将了解到阿里巴巴的一线机器学习算法工程师是如何发现问题，定义问题和解决问题的，激发研究兴趣以及提升专业素养。

笪庆，花名达卿，阿里巴巴不错算法专家，硕士毕业于南京大学机器学习与数据挖掘研究所，增多次获得靠前外数据挖掘/人工智能类竞赛优选，发表多篇领域顶会论文。在阿里主要从事搜索算法排序的工作，并率先在集团内开展强化学习在电商业务中的应用，实现了线上决策引擎的智能化决策升级。
曾安祥，花名仁重，阿里巴巴资深算法专家。于2009年加入阿里巴巴，作为淘宝搜索的创始人之一，先后参与组建了Query分析团队和排序团队等算法团队，和伙伴们一起创造了靠前的商品搜索技术。专注于大规模机器学习在线学习、深度学习及强化学习等技术在电商环境中的大规模实际应用。发表了多篇顶会论文，申请了多个靠前外专利。

第1章强化学习基础1
1.1引言2
1.2起源和发展3
1.3问题建模5
1.4常见强化学习算法8
1.4.1基于值函数的方法9
1.4.2基于直接策略搜索的方法12
1.5总结14
第2章基于强化学习的实时搜索排序策略调控15
2.1研究背景16
2.2问题建模17
2.2.1状态定义17
2.2.2奖赏函数设计18
2.3算法设计19
2.3.1策略函数19
2.3.2策略梯度20
2.3.3值函数的学习21
2.4奖赏塑形22
2.5实验效果25
2.6DDPG与梯度融合27
2.7总结与展望28
第3章延迟奖赏在搜索排序场景中的作用分析30
3.1研究背景31
3.2搜索交互建模31
3.3数据统计分析33
3.4搜索排序问题形式化36
3.4.1搜索排序问题建模36
3.4.2搜索会话马尔可夫决策过程38
3.4.3奖赏函数39
3.5理论分析40
3.5.1马尔可夫性质40
3.5.2折扣率41
3.6算法设计44
3.7实验与分析48
3.7.1模拟实验48
3.7.2搜索排序应用51
第4章基于多智能体强化学习的多场景联合优化54
4.1研究背景55
4.2问题建模57
4.2.1相关背景简介57
4.2.2建模方法58
4.3算法应用65
4.3.1搜索与电商平台65
4.3.2多排序场景协同优化66
4.4实验与分析69
4.4.1实验设置69
4.4.2对比基准70
4.4.3实验结果70
4.4.4在线示例73
4.5总结与展望75
第5章虚拟淘宝76
5.1研究背景77
5.2问题描述79
5.3虚拟化淘宝80
5.3.1用户生成策略81
5.3.2用户模仿策略83
5.4实验与分析85
5.4.1实验设置85
5.4.2虚拟淘宝与真实淘宝对比85
5.4.3虚拟淘宝中的强化学习87
5.5总结与展望90
第6章组合优化视角下基于强化学习的精准定向
广告OCPC业务优化92
6.1研究背景93
6.2问题建模94
6.2.1奖赏设计94
6.2.2动作定义94
6.2.3状态定义95
6.3模型选择100
6.4探索学习102
6.5业务实战103
6.5.1系统设计103
6.5.2奖赏设计105
6.5.3实验效果106
6.6总结与展望106
第7章策略优化方法在搜索广告排序和竞价机制中的应用108
7.1研究背景109
7.2数学模型和优化方法110
7.3排序公式设计112
7.4系统简介113
7.4.1离线仿真模块114
7.4.2离线训练初始化114
7.5在线策略优化117
7.6实验与分析118
7.7总结与展望120
第8章TaskBot――阿里小蜜的任务型问答技术121
8.1研究背景122
8.2模型设计123
8.2.1意图网络123
8.2.2信念跟踪124
8.2.3策略网络124
8.3业务应用126
8.4总结与展望127
第9章DRL导购――阿里小蜜的多轮标签推荐技术128
9.1研究背景129
9.2算法框架130
9.3深度强化学习模型133
9.3.1强化学习模块133
9.3.2模型融合134
9.4业务应用135
9.5总结与展望136
第10章RobustDQN在淘宝锦囊推荐系统中的应用137
10.1研究背景138
10.2RobustDQN算法140
10.2.1分层采样方法140
10.2.2基于分层采样的经验池141
10.2.3近似遗憾奖赏142
10.2.4RobustDQN算法143
10.3RobustDQN算法在淘宝锦囊上的应用144
10.3.1系统架构144
10.3.2问题建模145
10.4实验与分析147
10.4.1实验设置148
10.4.2实验结果148
10.5总结与展望152
第11章基于上下文因子选择的商业搜索引擎性能优化153
11.1研究背景154
11.2排序因子和排序函数156
11.3相关工作157
11.4排序中基于上下文的因子选择158
11.5RankCFS：一种强化学习方法162
11.5.1CFS问题的?MDP建模162
11.5.2状态与奖赏的设计163
11.5.3策略的学习165
11.6实验与分析166
11.6.1离线对比167
11.6.2在线运行环境的评价170
11.6.3双11评价171
11.7总结与展望172
第12章基于深度强化学习求解一类新型三维装箱问题173
12.1研究背景174
12.2问题建模175
12.3深度强化学习方法177
12.3.1网络结构178
12.3.2基于策略的强化学习方法179
12.3.3基准值的更新180
12.3.4随机采样与集束搜索180
12.4实验与分析181
12.5小结182
第13章基于强化学习的分层流量调控183
13.1研究背景184
13.2基于动态动作区间的DDPG算法186
13.3实验效果189
13.4总结与展望189
第14章风险商品流量调控190
14.1研究背景191
14.2基于强化学习的问题建模192
14.2.1状态空间的定义192
14.2.2动作空间的定义193
14.2.3奖赏函数的定义193
14.2.4模型选择194
14.2.5奖赏函数归一化196
14.3流量调控系统架构196
14.4实验效果197
14.5总结与展望197
参考文献199