智能推荐算法与系统构建实践

本书从系统视角出发,阐述如何利用技术手段搭建企业级推荐系统,内容包括认知篇、数据篇、召回篇、排序篇、系统篇 5 个部分，覆盖企业级推荐系统建设的核心要点。本书知识体系清晰，从基础知识切入，逐步深入，先后涉及推荐系统的经典技术、主流技术和前沿技术。本书通过“理论+案例+代码示例+心得体会”的方式阐述、归纳和总结推荐系统的知识，帮助读者理解推荐系统，掌握技能，建立系统思维。 本书适合对推荐系统感兴趣的初学者、从事数据挖掘/信息推荐相关工作的研发工程师、产品经理、架构师，以及相关专业学生和教师阅读。

陈实如 博士研究生，教授级高级工程师，浪潮集团资深研究员，长期从事企业数字化转型、技术规划和技术管理，专注于物联网、大数据、工业互联网人工智能等领域，擅长数据挖掘、数据建模、推荐算法和系统架构构建。独立负责几十个信息化平台的研发和交付，具有丰富的开发实战经验。喜欢总结，乐于分享。在国外核心期刊发表论文30余篇，获得国家发明专利授权20余项。

第 1 部 分 认 知 篇 1 第 1 章 认识推荐系统 3 1.1 推荐与推荐系统 3 1.2 生活中的推荐系统 6 1.3 推荐系统的特点与价值 9 1.4 推荐服务 12 1.5 个性化推荐策略 14 1.5.1 U2Tag2I 策略 14 1.5.2 U2U2I 策略 15 1.5.3 U2I2I 策略 15 1.5.4 U2I 策略 16 1.6 本章小结 16 第 2章 推荐系统技术实现 17 2.1 工作原理 17 2.2 业务流程 18 2.3 业务功能模块 21 2.3.1 数据采集 22 2.3.2 特征工程 26 2.3.3 推荐算法 29 2.3.4 推荐服务 36 2.3.5 效能评价 38 2.4 推荐系统开发 39 2.5 本章小结 43 第 2 部 分 数 据 篇 45 第 3 章 数据提取与特征向量 47 3.1 特征标签构建流程 47 3.2 特征标签构建方法 49 3.3 数据提取 51 3.4 数据处理 53 3.4.1 数据统计 54 3.4.2 数据标准化 55 3.4.3 数据离散化 58 3.5 特征编码 61 3.5.1 类别数据 61 3.5.2 时间数据 69 3.5.3 位置数据 73 3.5.4 文本数据 74 3.6 本章小结 86 第 4 章 构建个性化特征标签 87 4.1 喜欢度——衡量用户感兴趣的程度 87 4.2 新闻特征标签 89 4.2.1 基本特征 89 4.2.2 类别特征 90 4.2.3 内容特征 91 4.2.4 趋势特征 100 4.2.5 新闻特征向量 102 4.3 用户特征标签 103 4.3.1 基本特征 104 4.3.2 位置特征 104 4.3.3 兴趣偏好特征 105 4.3.4 行为特征 109 4.3.5 价值特征 109 4.3.6 用户特征向量 111 4.4 特征相似度计算 112 4.4.1 欧几里得距离 113 4.4.2 曼哈顿距离 113 4.4.3 闵可夫斯基距离 113 4.4.4 马氏距离 114 4.4.5 余弦相似度 114 4.4.6 皮尔逊相关系数 115 4.4.7 杰卡德相关系数 116 4.4.8 代码示例 117 4.5 本章小结 121 第5章 交叉组合构建新特征 122 5.1 特征组合 122 5.1.1 特征拼接 122 5.1.2 笛卡儿构建 123 5.1.3 线性组合 123 5.1.4 多项式特征 124 5.1.5 代码示例 125 5.2 特征选择 128 5.2.1 方差选择 129 5.2.2 相关选择 129 5.2.3 卡方检验 131 5.2.4 主成分分析 133 5.2.5 树模型选择 136 5.2.6 代码示例 143 5.3 本章小结 150 第 3 部 分 召 回 篇 151 第 6 章 机器学习模型 153 6.1 机器学习的定义 153 6.1.1 有监督学习 154 6.1.2 无监督学习 154 6.2 数据集 155 6.2.1 常用公开数据集 156 6.2.2 在线构建数据集 156 6.2.3 数据集划分 160 6.2.4 生成训练集 166 6.3 模型训练 168 6.4 模型保存 169 6.5 模型评价 170 6.5.1 分类模型评价 170 6.5.2 回归模型评价 173 6.5.3 代码示例 174 6.6 模型上线 175 6.7 本章小结 176 第 7 章 基于新闻热度的推荐召回 177 7.1 新闻热度 177 7.2 热门推荐算法 179 7.3 代码示例 179 7.4 本章小结 184 第 8 章 基于内容的推荐召回 185 8.1 商品内容 185 8.2 KNN 算法模型 186 8.2.1 KNN 发现 186 8.2.2 KNN 算法改进 187 8.3 代码示例 189 8.4 本章小结 199 第 9 章 基于标签的推荐召回 201 9.1 认识标签 201 9.2 标签推荐算法 202 9.3 升级标签推荐算法 206 9.4 代码示例 207 9.5 本章小结 211 第 10章 协同过滤推荐召回 212 10.1 UserCF 算法 212 10.1.1 算法原理 212 10.1.2 代码示例 218 10.2 ItemCF 算法 223 10.2.1 算法原理 223 10.2.2 代码示例 227 10.3 本章小结 232 第 11章 基于矩阵分解的推荐召回 233 11.1 数学知识 233 11.2 SVD 推荐算法 236 11.3 代码示例 237 11.4 本章小结 241 第 12章 基 于LFM 的推荐召回 243 12.1 LFM 概述 243 12.2 LFM 推荐算法 244 12.3 代码示例 247 12.4 本章小结 251 第 13章 多路召回融合策略 252 13.1 多路召回策略 252 13.2 融合策略 254 13.2.1 顺序融合 255 13.2.2 平均加权融合 256 13.2.3 加权融合 256 13.2.4 动态加权融合 257 13.3 代码示例 257 13.4 本章小结 266 第 4 部 分 排 序 篇 267 第 14章 线性模型排序算法 269 14.1 回归模型 269 14.2 线性回归模型 270 14.3 逻辑回归模型 273 14.3.1 算法模型 273 14.3.2 模型参数估计 275 14.3.3 代码示例 277 14.4 本章小结 283 第 15章 LR-GBDT 模型排序算法 284 15.1 CART 决策树 284 15.2 集成学习模型 292 15.2.1 Bagging 算法 293 15.2.2 Boosting 算法 294 15.2.3 Stacking 算法 295 15.3 GBDT 模型 296 15.4 LR-GBDT 模型 299 15.4.1 模型算法推导 299 15.4.2 代码示例 300 15.5 本章小结 306 第 16章 深度学习模型排序算法 307 16.1 神经元 307 16.2 ANN 模型 309 16.3 模型训练 315 16.3.1 正向传递 317 16.3.2 反向传递 319 16.4 模型优化 323 16.4.1 梯度优化算法 324 16.4.2 Batch 归一化 327 16.4.3 正则化 328 16.5 DNN 模型 329 16.5.1 模型构建 329 16.5.2 代码示例 331 16.6 Wide&Deep 模 型 335 16.6.1 Wide 部分 336 16.6.2 Deep 部分 337 16.6.3 联合训练 337 16.6.4 Wide&Deep 模型案例 338 16.7 本章小结 339 第 5 部 分 系 统 篇 341 第 17章 推荐服务生成与管理 343 17.1 推荐系统的 Web服务 343 17.2 推荐服务的请求与响应 345 17.2.1 HTTP 346 17.2.2 REST 编程风格 349 17.2.3 基于Django 开发REST 风格API 352 17.2.4 基于 Spring MVC 开发 REST 风格 API 354 17.3 生成推荐结果 355 17.3.1 离线生成 356 17.3.2 在线生成 360 17.3.3 在线+离线融合生成 361 17.3.4 代码示例 364 17.4 生成方案对比 376 17.5 本章小结 377 第 18章 推荐系统效能评价 379 18.1 推荐系统评价 379 18.2 用户调研 380 18.3 离线测试 382 18.3.1 离线测试方法 382 18.3.2 离线测试指标 384 18.4 在线测试 384 18.4.1 A B 测 试 385 18.4.2 推荐系统的 AB 测试实验 389 18.4.3 在线测试指标 392 18.5 本章小结 398 第 19章 推荐系统架构设计 400 19.1 系统架构概述 400 19.2 系统边界 405 19.3 系统总体架构 407 19.4 依赖的第三方环境 413 19.4.1 大数据计算平台 413 19.4.2 机器学习平台 417 19.4.3 存储平台 420 19.4.4 数据查询检索平台 421 19.4.5 Web 系统开发框架 421 19.5 系统技术架构 422 19.5.1 数据流 424 19.5.2 离线层计算 426 19.5.3 近线层计算 427 19.5.4 在线层计算 429 19.5.5 技术架构对比 432 19.6 系统部署架构 434 19.7 系统建设步骤 438 19.8 本章小结 439