阿里测试之道

"◇阿里官方首本测试书，思辨测试要义，细解技术创新 ◇电商、移动、搜索、推荐、广告、IoT、金融、物流等业务场景全覆盖 ◇技术创新、经验、方法、工具、平台一应俱全 ◇涉及大促保障、移动App测试、大数据测试、AI系统测试、云计算测试、资损防控、物流类测试等领域 ◇更有故障快恢、灰度发布、突袭演练等安全生产技术 ◇有亮点、有增量、有经验、有教训，更有体系和思考"

本书是阿里巴巴集团自成立以来第一本全面记录阿里测试技术的书籍。围绕测试团队经常面临的困局，介绍了一系列技术创新、经验和方法。结合电商、移动、搜索、推荐、广告、IoT、金融、物流等业务场景，总结了阿里在大促保障、移动App测试、大数据测试、AI系统测试、云计算测试、资损防控、物流类测试等领域的方法、技术和工具平台，以及故障快恢、灰度发布、突袭演练等安全生产技术。全书聚焦技术亮点和增量，总结实战经验和教训，呈现技术体系和思考，与业界同人交流。
本书适合互联网行业中的高级测试管理和技术人员阅读，这些人员有比较深厚的测试基础，面对诸多质量挑战，迫切需要寻求测试技术的突破以支撑业务的快速增长。对于想在类似业务领域建立完整测试体系的从业人员，无论经验背景如何，本书都将提供一些有益的启发。对于高校学生和学术界科研人员，本书也提供了一个了解阿里测试实践的窗口。

阿里巴巴技术质量小组负责横向拉通、组织协调各条业务线测试技术的探索和布局，提升测试技术专业能力，促进人才发展，实现突破和创新。对外的分享交流合作包括“阿里巴巴技术质量”公众号、年度行业会议——阿里巴巴质量创新大会（TICA）、校企合作研究项目等。

第1章测试团队的发展之路1
1.1测试团队面临的困局1
1.2建立代码门禁2
1.2.1什么是代码门禁3
1.2.2代码门禁的效果3
1.2.3落地和优化4
1.2.4更多的用途5
1.3理解测试的本质5
1.4缩短反馈弧7
1.4.1为什么缩短反馈弧是关键7
1.4.2怎么才算反馈弧短8
1.4.3缩短反馈弧的成本和投入产出比9
1.5提升测试的稳定性10
1.5.1高频10
1.5.2隔离13
1.5.3用完即抛14
1.5.4不自动重跑15
1.6提升测试的有效性16
1.6.1测试有效性需要面对的挑战16
1.6.2变异测试和Bug注入17
1.6.3更多的注入类型21
1.7提升测试的充分性25
1.7.1用例自动生成25
1.7.2业务覆盖率度量30
1.8从测到不测31
1.8.1防错设计31
1.8.2静态代码分析和Bug自动识别41
1.9本章小结42
第2章大促质量保障44
2.1大促全链路的风险与挑战44
2.1.1全球优选流量洪峰下的高可用挑战44
2.1.2纷繁复杂的用户场景45
2.1.3无处不在的用户体验46
2.1.4三位一体的保障体系46
2.2全链路压测47
2.2.1全链路影子体系47
2.2.2全链路压测模型48
2.2.3全链路压测执行策略49
2.2.4常态化智能压测50
2.3全链路功能52
2.3.1统一环境隔离52
2.3.2全链路影子数据54
2.3.3全链路大促用例精简56
2.4全民预演59
2.4.1什么是全民预演59
2.4.2全民预演的核心目标60
2.4.3全民预演如何实施61
2.4.4预演执行策略的制定63
2.4.5预演问题的收集和跟进64
2.4.6大促持续集成64
2.4.7全民预演平台化支撑65
2.5预案开关68
2.5.1预案的使用场景68
2.5.2预案评估方式69
2.5.3预案流程70
2.5.4预案平台70
2.5.5预案与攻防72
2.5.6预案的目标与展望72
2.6全链路预热73
2.6.1解法73
2.6.2适用的业务场景75
2.6.3核心应用场景76
2.7快速扩/缩容78
2.7.1分析79
2.7.2方案79
2.7.3优化80
2.7.4演练84
2.7.5效果84
2.7.6展望85
2.8风控识别引擎压测85
2.8.1分析问题86
2.8.2延伸89
2.9本章小结89
第3章移动App测试90
3.1移动App测试的主要类型、方法和工具90
3.1.1功能性测试――从手工到自动化90
3.1.2专项测试――从简单到专业好用95
3.1.3稳定性测试――智能化测试的初次尝试99
3.1.4兼容性测试――智能推荐109
3.2移动测试的标准、流程和经验125
3.2.1深度专项验收――大促125
3.2.2前端发布管控127
3.2.3客户端代码持续集成132
3.3移动端线上质量保障140
3.3.1性能监控140
3.3.2性能分级与降级146
第4章大数据测试151
4.1大数据应用测试的介绍151
4.1.1大数据应用测试要解决的问题是什么151
4.1.2大数据应用的技术质量体系综述153
4.2算法系统质量155
4.2.1算法测试的定义155
4.2.2算法工程质量156
4.2.3特征质量与评估162
4.2.4模型质量的评估163
4.2.5深度学习平台质量（大规模分布式训练系统的测试）167
4.3工程系统质量168
4.3.1功能测试平台Markov168
4.3.2无人值守的性能测试182
4.4效果评估185
4.4.1效果评估的挑战186
4.4.2用户体验保障186
4.5对大数据应用测试的预判190
第5章AI系统测试193
5.1语音类产品测试――智能音箱测试193
5.1.1智能音箱业务介绍193
5.1.2语音类产品测试的挑战195
5.1.3天猫精灵测试策略196
5.1.4端端语音测试197
5.1.5算法评测208
5.1.6总结211
5.2计算机视觉类产品测试方案211
5.2.1计算机视觉类业务流程介绍212
5.2.2计算机视觉类测试分析215
5.2.3计算机视觉类测试方案217
5.2.4总结230
第6章云计算测试231
6.1专有云质量定义及挑战231
6.2高可用测试――坚如磐石233
6.2.1设计思想233
6.2.2异常模拟234
6.2.3复杂场景测试235
6.2.4自动化测试236
6.3性能容量压测――分层覆盖238
6.3.1单产品性能――基础能力239
6.3.2平台性能容量――集成视角240
6.3.3用户场景性能――业务视角242
6.4热升级――给飞行中的飞机更换发动机244
6.4.1技术原理244
6.4.2测试挑战245
6.5用户场景测试――知己知彼247
第7章金融类测试之资损风险防控251
7.1资损风险防控体系251
7.1.1怎么防252
7.1.2怎么控252
7.1.3止损252
7.2资损风险防范253
7.2.1资金产品测试要点253
7.2.2资金系统测试要点255
7.2.3资金项目变更规范266
7.2.4资金测试框架/平台268
7.3资损风险识别271
7.3.1数据核对体系271
7.3.2数据核对平台275
7.4资损风险应急278
7.5资损防控文化278
第8章物流类测试280
8.1物流类通用测试技术280
8.1.1基于测试服务化的可编排测试280
8.1.2基于业务流量的采集和回放平台283
8.2仓储实操类测试技术285
8.2.1仓储实操机器人业务介绍285
8.2.2仓储实操机器人业务面临的质量挑战285
8.2.3仓储实操机器人自动化测试方案及结果286
8.3末端IoT设备测试技术290
8.3.1末端物流业务介绍290
8.3.2硬件服务与系统服务质量保证的挑战291
8.3.3阿里巴巴菜鸟末端IoT设备通用的测试产品及方案291
8.3.4硬件服务与系统服务质量保障成果296
8.4全球化物流骨干网测试技术298
8.4.1全球化物流骨干网业务简介298
8.4.2全球化物流骨干网质量挑战299
8.4.3全球化物流骨干网测试方案300
第9章安全生产303
9.1资金安全303
9.1.1资损定义304
9.1.2资损解决方法304
9.1.3资金安全策略306
9.1.4体系化解决方案307
9.1.5资金安全产品介绍309
9.1.6资金安全展望314
9.2故障快恢315
9.2.1功能介绍315
9.2.2关键技术316
9.3灰度发布318
9.3.1抓手――变更三板斧318
9.3.2灰度生态建设319
9.3.3灰度常坚守，安全无止境320
9.4信息安全风险321
9.4.1风险识别321
9.4.2风险应对323
9.4.3持续优化326
9.5突袭演练327
9.5.1背景327
9.5.2突袭演练策略327
9.5.3突袭演练技术大图329
第10章回顾和展望331
10.1阿里测试的昨天和今天331
10.2测试是软件开发的一个领域334
10.3软件质量的挑战和不变量336
10.4展望未来341
10.5写在最后347