美团机器学习实践

  

   人工智能技术正以一种靠前的速度深刻地改变着我们的生活，引导了第四次工业革命。美团作为靠前O2O领域领 先的服务平台，结合自身的业务场景和数据，积极进行了人工智能领域的应用探索。在美团的搜索、推荐、计算广告、风控、图像处理等领域，相关的人工智能技术得到广泛的应用。美团算法团队著的《美团机器学习实践》包括通用流程、数据挖掘、搜索和推荐、计算广告、深度学习以及算法工程6大部分内容，全面介绍了美团在多个重要方面对机器学习的应用。

本书很好适合有一定机器学习基础的工程技术人员和在校大学生学习和阅读。通过本书，有经验的算法工程师可以了解美团在这方面的做法，在校大学生可以学习机器学习算法如何在具体的业务场景中落地。

美团算法团队由数百名很好算法工程师组成，负责构建美团这个生活服务互联网大平台的“大脑”，涵盖搜索、推荐、广告、风控、机器学习、计算机视觉、语音、自然语言处理、智能调度、机器人和无人配送等多个技术方向，在帮助美团数亿活跃用户改善用户体验的同时，也帮助餐饮、酒店、婚庆、丽人、亲子等200多个行业的数百万商户提升运营效率。我们致力于通过算法和人工智能技术，帮大家吃得更好，活得更好。

  

部分通用流程

章问题建模2

1.1评估指标3

1.1.1分类指标4

1.1.2回归指标7

1.1.3排序指标9

1.2样本选择10

1.2.1数据去噪11

1.2.2采样12

1.2.3原型选择和训练集选择13

1.3交叉验证14

1.3.1留出法14

1.3.2K折交叉验证15

1.3.3自助法16

参考文献17

第2章特征工程18

2.1特征提取18

2.1.1探索性数据分析19

2.1.2数值特征20

2.1.3类别特征22

2.1.4时间特征24

2.1.5空间特征25

2.1.6文本特征25

2.2特征选择27

2.2.1过滤方法28

2.2.2封装方法31

2.2.3嵌入方法31

2.2.4小结32

2.2.5工具介绍33

参考文献33

第3章常用模型35

3.1逻辑回归35

3.1.1逻辑回归原理35

3.1.2逻辑回归应用38

3.2场感知因子分解机39

3.2.1因子分解机原理39

3.2.2场感知因子分解机原理40

3.2.3场感知因子分解机的应用41

3.3梯度提升树42

3.3.1梯度提升树原理42

3.3.2梯度提升树的应用44

参考文献44

第4章模型融合45

4.1理论分析46

4.1.1融合收益46

4.1.2模型误差分歧分解46

4.1.3模型多样性度量48

4.1.4多样性增强49

4.2融合方法50

4.2.1平均法50

4.2.2投票法52

4.2.3Bagging54

4.2.4Stacking55

4.2.5小结56

参考文献57

D二部分数据挖掘

第5章用户画像60

5.1什么是用户画像60

5.2用户画像数据挖掘63

5.2.1画像数据挖掘整体架构63

5.2.2用户标识65

5.2.3特征数据67

5.2.4样本数据68

5.2.5标签建模69

5.3用户画像应用83

5.3.1用户画像实时查询系统83

5.3.2人群画像分析系统87

5.3.3其他系统90

5.3.4线上应用效果91

5.4小结91

参考文献91

第6章POI实体链接92

6.1问题的背景与难点92

6.2国内jiu店POI实体链接解决方案94

6.2.1jiu店POI实体链接94

6.2.2数据清洗96

6.2.3特征生成97

6.2.4模型选择与效果评估100

6.2.5索引粒度的配置101

6.3其他场景的策略调整101

6.4小结103

第7章评论挖掘104

7.1评论挖掘的背景104

7.1.1评论挖掘的粒度105

7.1.2评论挖掘的维度105

7.1.3评论挖掘的整合思考106

7.2评论标签提取106

7.2.1数据的获取及预处理107

7.2.2无监督的标签提取方法109

7.2.3基于深度学习的标签提取方法111

7.3标签情感分析113

7.3.1评论标签情感分析的特殊性113

7.3.2基于深度学习的情感分析方法115

7.3.3评论标签情感分析的后续优化与思考118

7.4评论挖掘的未来应用及实践119

7.5小结119

参考文献119

第三部分搜索和推荐

第8章O2O场景下的查询理解与用户引导122

8.1现代搜索引擎原理123

8.2jing确理解查询124

8.2.1用户查询意图的定义与识别125

8.2.2查询实体识别与结构化129

8.2.3召回策略的变迁130

8.2.4查询改写131

8.2.5词权重与相关性计算134

8.2.6类目相关性与人工标注135

8.2.7查询理解小结136

8.3引导用户完成搜索137

8.3.1用户引导的产品定义与衡量标准137

8.3.2搜索前的引导——查询词推荐140

8.3.3搜索中的引导——查询补全143

8.3.4搜索后的引导——相关搜索145

8.3.5效率提升与效果提升145

8.3.6用户引导小结149

8.4小结149

参考文献150

第9章O2O场景下排序的特点152

9.1系统概述154

9.2在线排序服务154

9.3多层正交A/B测试155

9.4特征获取155

9.5离线调研系统156

9.6特征工程156

9.7排序模型157

9.8场景化排序160

9.9小结165

0章推荐在O2O场景的应用166

10.1典型的O2O推荐场景166

10.2O2O推荐场景特点167

10.2.1O2O场景的地理位置因素168

10.2.2O2O场景的用户历史行为168

10.2.3O2O场景的实时推荐169

10.3美团推荐实践——推荐框架169

10.4美团推荐实践——推荐召回170

10.4.1基于协同过滤的召回171

10.4.2基于位置的召回171

10.4.3基于搜索查询的召回172

10.4.4基于图的召回172

10.4.5基于实时用户行为的召回172

10.4.6替补策略172

10.5美团推荐实践——推荐排序173

10.5.1排序特征173

10.5.2排序样本174

10.5.3排序模型175

10.6推荐评价指标176

参考文献176

第四部分计算广告

1章O2O场景下的广告营销178

11.1O2O场景下的广告业务特点178

11.2商户、用户和平台三者利益平衡180

11.2.1商户效果感知180

11.2.2用户体验181

11.2.3平台收益182

11.3O2O广告机制设计183

11.3.1广告位设定183

11.3.2广告召回机制183

11.3.3广告排序机制184

11.4O2O推送广告187

11.5O2O广告系统工具190

11.5.1面向开发人员的系统工具190

11.5.2面向广告主和运营人员的工具192

11.6小结194

参考文献194

2章用户偏好和损失建模196

12.1如何定义用户偏好196

12.1.1什么是用户偏好196

12.1.2如何衡量用户偏好196

12.1.3对不同POI的偏好197

12.1.4用户对POI偏好的衡量197

12.2广告价值与偏好损失的兑换198

12.2.1优化目标199

12.2.2模型建模199

12.3Pairwise模型学习201

12.3.1GBRank202

12.3.2RankNet204

参考文献205

第五部分深度学习

3章深度学习概述208

13.1深度学习技术发展历程209

13.2深度学习基础结构211

13.3深度学习研究热点216

13.3.1基于深度学习的生成式模型216

13.3.2深度强化学习218

参考文献219

4章深度学习在文本领域的应用220

14.1基于深度学习的文本匹配221

14.2基于深度学习的排序模型231

14.2.1排序模型简介231

14.2.2深度学习排序模型的演进232

14.2.3美团的深度学习排序模型尝试235

14.3小结237

参考文献237

5章深度学习在计算机视觉中的应用238

15.1基于深度学习的OCR238

15.1.1OCR技术发展历程239

15.1.2基于深度学习的文字检测244

15.1.3基于序列学习的文字识别248

15.1.4小结251

15.2基于深度学习的图像智能审核251

15.2.1基于深度学习的水印检测252

15.2.2明星脸识别254

15.2.3图片检测257

15.2.4场景分类257

15.3基于深度学习的图像质量排序259

15.3.1图像美学质量评价260

15.3.2面向点击预测的图像质量评价260

15.4小结263

参考文献264

第六部分算法工程

6章大规模机器学习268

16.1并行计算编程技术268

16.1.1向量化269

16.1.2多核并行OpenMP270

16.1.3GPU编程272

16.1.4多机并行MPI273

16.1.5并行编程技术小结276

16.2并行计算模型276

16.2.1BSP277

16.2.2SSP279

16.2.3ASP280

16.2.4参数服务器281

16.3并行计算案例284

16.3.1XGBoost并行库Rabit284

16.3.2MXNet并行库PS-Lite286

16.4美团并行计算机器学习平台287

参考文献289

7章特征工程和实验平台290

17.1特征平台290

17.1.1特征生产290

17.1.2特征上线293

17.1.3在线特征监控301

17.2实验管理平台302

17.2.1实验平台概述302

17.2.2美团实验平台——Gemini304