计算广告：互联网商业变现的市场与技术（第3版）

计算广告是一项新兴的研究课题，它涉及大规模搜索和文本分析、信息获取、统计模型、机器学习、分类、优化以及微观经济学等诸多领域的知识。本书从实践出发，系统地介绍计算广告的产品、问题、系统和算法，并且从工业界的视角对这一领域进行具体技术的深入剖析。 本书立足于广告市场的根本问题，从计算广告各个阶段所遇到的市场挑战出发，以广告系统业务形态的需求和变化为主线，依次介绍合约广告系统、竞价广告系统、程序化交易市场等重要课题，并对计算广告涉及的关键技术和算法做深入的探讨。这一版中更是加入了深度学习的基础方法论及其在计算广告中的应用。 无论是互联网公司商业化部门的产品技术人员，还是对个性化系统、大数据变现或交易有兴趣的产品技术人员，传统企业互联网化进程的决策者，传统广告业务的从业者，互联网创业者，计算机相关专业研究生，都会从阅读本书中受益匪浅。

刘鹏（@北冥乘海生），现任科大讯飞副总裁，大数据研究院院长。他在清华大学获得博士学位后，加入微软亚洲研究院，从事人工智能研究，后参与创建雅虎北京研究院，出任高级科学家。他还曾任MediaV首席科学家、360商业化首席架构师等职。在多年从业经历中，他一直致力于将人工智能方法与海量数据相结合来解决工业界问题，负责过多个大型互联网商业产品体系。他的微信公众号为“计算广告”。 他特别重视计算广告和大数据技术的普及，他讲授的“计算广告”在网易云课堂有超过3万名学生，已经成为业界进行相关培训的基础教程。他还曾担任北京大学、中国传媒大学等高校客座教授，讲授计算广告相关课程，为推动中国广告产业的数字化、智能化做出了贡献。 王超（@德川），于北京大学获得硕士学位后，曾就职于微博、汽车之家等公司的广告部门，从事计算广告领域的研究和实践工作。现任百度主任研发架构师，从事个性化推荐领域相关的工作。 内页插图

第 一部分 在线广告市场与背景 第 1章 在线广告综述 3 1.1免费模式与互联网核心资产 4 1.2大数据与广告的关系 5 1.3广告的定义与目的 7 1.4在线广告表现形式 9 1.5在线广告简史 15 第 2章 计算广告基础 20 2.1广告有效性原理 21 2.2互联网广告的技术特点 23 2.3计算广告的核心问题 24 2.3.1广告收入的分解 25 2.3.2结算方式与eCPM估计的关系 26 2.4在线广告相关行业协会 29 2.4.1交互广告局 29 2.4.2美国广告代理协会 30 2.4.3美国国家广告商协会 30 第二部分 在线广告产品逻辑 第3章 在线广告产品概览 33 3.1商业产品的设计原则 34 3.2广告系统的产品接口 35 3.2.1广告主层级组织与投放管理 35 3.2.2供给方管理接口 38 3.2.3供需之间多种接口形式 39 第4章 合约广告 41 4.1广告位合约 42 4.2受众定向 43 4.2.1受众定向方法概览 43 4.2.2受众定向标签体系 46 4.2.3标签体系的设计思路 47 4.3展示量合约 48 4.3.1流量预测 49 4.3.2流量塑形 50 4.3.3在线分配 50 4.3.4产品案例 51 5.4.2 交易终端 ………………………………………………………………… 75 5.4.3 产品案例 ………………………………………………………………… 75 5.5 竞价广告与合约广告的比较 …………………………………………………… 77 第6章 程序化交易广告 …………………………………………………………………… 78 6.1 实时竞价 ………………………………………………………………………… 79 6.2 其他程序化交易方式 …………………………………………………………… 82 6.2.1 优选 ……………………………………………………………………… 82 6.2.2 私有市场 ………………………………………………………………… 83 6.2.3 程序化直投 ……………………………………………………………… 84 6.2.4 广告交易方式谱系 ……………………………………………………… 84 6.3 广告交易平台 …………………………………………………………………… 85 6.4 需求方平台 ……………………………………………………………………… 87 6.4.1 需求方平台产品策略 …………………………………………………… 87 6.4.2 出价策略 ………………………………………………………………… 88 6.4.3 出价和定价过程 ………………………………………………………… 89 6.4.4 重定向 …………………………………………………………………… 89 6.4.5 新客推荐 ………………………………………………………………… 91 6.4.6 产品案例 ………………………………………………………………… 92 6.5 供给方平台 ……………………………………………………………………… 94 6.5.1 供给方平台产品策略 …………………………………………………… 94 6.5.2 Header Bidding …………………………………………………………… 95 6.5.3 产品案例 ………………………………………………………………… 96 第7章 数据加工与交易 …………………………………………………………………… 99 7.1 有价值的数据来源 100 7.2 数据管理平台 102 7.2.1 三方数据划分 102 7.2.2 第 一方数据管理平台 102 7.2.3 第三方数据管理平台 103 7.2.4 产品案例 104 7.3数据交易的基本过程 107 7.4隐私保护和数据安全 109 7.4.1隐私保护问题 109 7.4.2程序化交易中的数据安全 111 7.4.3欧盟的通用数据保护条例 113 第8章 信息流与原生广告 115 8.1移动广告的现状与挑战 116 8.1.1移动广告的特点 117 8.1.2移动广告的传统创意形式 117 8.1.3移动广告的挑战 119 8.2信息流广告 121 8.2.1信息流广告的定义 121 8.2.2信息流广告产品关键 123 8.3其他原生广告相关产品 124 8.3.1搜索广告 125 8.3.2软文广告 125 8.3.3 联盟 125 8.4原生广告平台 126 8.4.1表现原生与场景原生 126 8.4.2场景的感知与应用 127 8.4.3植入式原生广告 128 8.4.4产品案例 130 8.5原生广告与程序化交易 134 第三部分 计算广告关键技术 第9章 计算广告技术概览 137 9.1个性化系统框架 138 9.2各类广告系统优化目标 139 9.3计算广告系统架构 140 9.3.1 广告投放引擎 ……………………………………………………………142 9.3.2 数据高速公路 ……………………………………………………………143 9.3.3 离线数据处理 ……………………………………………………………143 9.3.4 在线数据处理 ……………………………………………………………144 9.4计算广告系统主要技术 144 9.5用开源工具搭建计算广告系统 146 9.5.1Web服务器Nginx 146 9.5.2分布式配置和集群管理工具ZooKeeper 148 9.5.3全文检索引擎Lucene 148 9.5.4跨语言通信接口Thrift 149 9.5.5数据高速公路Flume 150 9.5.6分布式数据处理平台Hadoop 150 9.5.7特征在线缓存Redis 151 9.5.8流计算平台Storm 152 9.5.9高效的迭代计算框架Spark 152 第 10章 基础知识准备 154 10.1信息检索 155 10.1.1倒排索引 155 10.1.2向量空间模型 157 10.2最优化方法 158 10.2.1拉格朗日法与凸优化 159 10.2.2下降单纯形法 160 10.2.3梯度下降法 160 10.2.4拟牛顿法 162 10.3统计机器学习 167 10.3.1最大熵与指数族分布 168 10.3.2混合模型和EM算法 169 10.3.3贝叶斯学习 171 10.4统计模型分布式优化框架 174 10.5深度学习 175 10.5.1 深度神经网络优化方法 ………………………………………………176 10.5.2 卷积神经网络（CNN） ………………………………………………177 10.5.3 递归神经网络（RNN） ………………………………………………178 10.5.4 生成对抗网络（GAN） ………………………………………………180 第 11章 合约广告核心技术 181 11.1广告排期系统 182 11.2担保式投送系统 183 11.2.1流量预测 185 11.2.2频次控制 186 11.3在线分配 188 11.3.1在线分配问题 188 11.3.2在线分配问题举例 190 11.3.3极限性能研究 192 11.3.4实用优化算法 193 第 12章 受众定向核心技术 201 12.1受众定向技术分类 202 12.2上下文定向 203 12.3文本主题挖掘 205 12.3.1LSA模型 206 12.3.2PLSI模型 206 12.3.3LDA模型 207 12.3.4词嵌入word2vec 208 12.4行为定向 209 12.4.1行为定向建模问题 210 12.4.2行为定向特征生成 211 12.4.3行为定向决策过程 214 12.4.4行为定向的评测 215 12.5人口属性预测 217 12.6数据管理平台 218 第 13章 竞价广告核心技术 220 13.1竞价广告计价算法 220 13.2搜索广告系统 222 13.2.1查询扩展 223 13.2.2广告放置 226 13.3广告网络 227 13.4广告检索 229 13.4.1布尔表达式的检索 230 13.4.2相关性检索 234 13.4.3基于DNN的语义建模 238 13.4.4最近邻语义检索 241 第 14章 点击率预测模型 247 14.1点击率预测 248 14.1.1点击率基本模型 248 14.1.2LR模型优化算法 249 14.1.3点击率模型的校正 256 14.1.4点击率模型的特征 257 14.1.5点击率模型评测 262 14.1.6智能频次控制 264 14.2其他点击率模型 264 14.2.1因子分解机 264 14.2.2GBDT 265 14.2.3深度学习点击率模型 267 14.3探索与利用 268 14.3.1强化学习与E&E 268 14.3.2UCB方法 270 14.3.3考虑上下文的 bandit 271 第 15章 程序化交易核心技术 272 15.1广告交易平台 273 15.1.1cookie 映射 273 15.1.2询价优化 277 15.2需求方平台 278 15.2.1定制化用户标签 280 15.2.2DSP中的点击率预测 282 15.2.3点击价值估计 283 15.2.4出价策略 284 15.3供给方平台 284 第 16章 其他广告相关技术 286 16.1创意优化 287 16.1.1程序化创意 287 16.1.2点击热力图 288 16.1.3创意的发展趋势 289 16.2实验框架 291 16.3广告监测与归因 292 16.3.1广告监测 292 16.3.2广告安全 294 16.3.3广告效果归因 295 16.4作弊与反作弊 296 16.4.1作弊的方法分类 296 16.4.2常见的作弊方法 297 16.5产品技术选型实战 301 16.5.1媒体实战 302 16.5.2广告主实战 304 16.5.3数据提供方实战 306 第四部分 附录 附录 主要术语及缩写索引 311 参考文献 317