关键迭代 可信赖的线上对照实验

获得数据很容易，获得可信赖的数据却很困难。由微软、谷歌和领英的实验领导者编写的这本实用指南将教你如何使用可信赖的线上对照实验（也就是A/B测试）加速创新。根据每家公司每年运行的两万多个对照实验，作者以示例和建议的方式向学生和业内人士分享了自己的实践经验，指出了需要避免的陷阱，并深入探讨了一些进阶专题，可以为希望改善自身及机构数据驱动决策方式的从业者提供参考。

 

本书赞誉
译者序
前言——如何阅读本书
致谢
第一部分 线上对照实验概览
第1章 概述和写作动机
1.1 线上对照实验的术语
1.2 为什么进行实验？相关性、因果关系和可信赖度
1.3 有效运行对照实验的必要元素
1.4 宗旨
1.5 随时间推移的改进
1.6 有趣的线上对照实验实例
1.7 战略、战术及它们和实验的关系
1.8 补充阅读
第2章 运行和分析实验——一个全程剖析的案例
2.1 设立实验
2.2 假设检验：确立统计显著性
2.3 设计实验
2.4 运行实验并获得数据
2.5 分析结果
2.6 从结果到决策
第3章 特威曼定律与实验的可信赖度
3.1 曲解统计结果
3.2 置信区间
3.3 对内部有效性的威胁
3.4 对外部有效性的威胁
3.5 细分群的差异
3.6 辛普森悖论
3.7 鼓励健康的怀疑态度
第4章 实验平台和文化
4.1 实验成熟度模型
4.2 基础设施和工具
第二部分 基础原理
第5章 速度很重要：一个全程案例剖析
5.1 关键假设：局部线性近似
5.2 如何测量网站的性能
5.3 减速实验的设计
5.4 对不同页面元素的影响是不同的
5.5 特别结果
第6章 机构指标
6.1 指标的分类
6.2 指标的制定：原则和技术
6.3 指标的评估
6.4 指标的演变
6.5 更多的资源
6.6 补充材料：护栏指标
6.7 补充材料：可操纵性
第7章 实验指标和综合评估标准
7.1 从业务指标到适用于实验的指标
7.2 将关键指标组合成一个OEC
7.3 案例：亚马逊电子邮件的OEC
7.4 案例：必应搜索引擎的OEC
7.5 Goodhart法则、Campbell法则以及Lucas批判
第8章 机构的经验传承与统合分析
8.1 什么是机构的经验传承
8.2 为什么机构的经验传承有用
第9章 对照实验中的伦理
9.1 背景
9.2 数据收集
9.3 文化与流程
9.4 补充材料：用户标识符
第三部分 补充及替代技法
第10章 补充技法
10.1 补充技法的空间
10.2 基于日志的分析
10.3 人工评估
10.4 用户体验调研
10.5 焦点小组
10.6 问卷调查
10.7 外部数据
10.8 总结
第11章 观察性因果研究
11.1 对照实验不可行的情况
11.2 观察性因果研究的设计
11.3 陷阱
11.4 补充材料：被驳斥的观察性因果研究
第四部分 实验平台搭建
第12章 客户端实验
12.1 服务器端和客户端的差异
12.2 对实验的潜在影响
12.3 结论
第13章 工具化日志记录
13.1 客户端与服务器端的工具化日志记录
13.2 处理多源的日志
13.3 工具化日志记录的文化
第14章 选择随机化单元
14.1 随机化单元和分析单元
14.2 用户级别的随机化
第15章 实验放量：权衡速度、质量与风险
15.1 什么是放量
15.2 SQR放量框架
15.3 四个放量阶段
15.4 最终放量之后
第16章 规模化实验分析
16.1 数据处理
16.2 数据计算
16.3 结果汇总和可视化
第五部分 实验分析
第17章 线上对照实验中的统计学知识
17.1 双样本t检验
17.2 p值和置信区间
17.3 正态性假设
17.4 第一/二型错误和统计功效
17.5 偏差
17.6 多重检验
17.7 费舍尔统合分析
第18章 方差估计和提高灵敏度：陷阱及解决方法
18.1 常见陷阱
18.2 提高灵敏度
18.3 其他统计量的方差
第19章 A/A测试
19.1 为什么运行A/A测试
19.2 如何运行A/A测试
19.3 A/A测试失败时
第20章 以触发来提高实验灵敏度
20.1 触发示例
20.2 数值示例
20.3 很好的和保守的触发
20.4 总体实验效应
20.5 可信赖的触发
20.6 常见的陷阱
20.7 开放性问题
第21章 样本比率不匹配与其他可信度相关的护栏指标
21.1 样本比率不匹配
21.2 调试SRM
第22章 实验变体之间的泄露和干扰
22.1 示例
22.2 一些实际的解决方案
22.3 检测和监控干扰
第23章 测量实验的长期效应
23.1 什么是长期效应
23.2 短期效应和长期效应可能不同的原因
23.3 为什么要测量长期效应
23.4 长期运行的实验
23.5 长期运行实验的替代方法
参考文献
索引