数据工程之道 设计和构建健壮的数据系统

数据工程在过去的十几年发展迅速，许多软件工程师、数据科学家和分析师想要追寻数据工程的全景。通过这本实用的书，你将学会通过数据工程生命周期框架评估现有的很好技术，从而规划和构建系统来满足组织和客户的需求。 作者将带领你了解数据工程生命周期，并展示各种云技术的组合运用来满足下游数据消费者的需求。你将了解如何应用数据生成、摄取、编排、转换、存储和治理的概念，无论底层技术如何，这些概念在任何数据环境中都至关重要。 本书将帮助你： ? 全面概览数据工程领域。 ? 使用端到端的很好实践框架来评估数据工程问题。 ? 看穿营销炒作，选择正确的技术、数据架构和流程。 ? 使用数据工程生命周期来设计和构建健壮的架构。 ? 将数据治理和数据安全融入数据工程生命周期。

本书介绍了数据工程生命周期，并展示如何组合运用各种云技术来满足下游数据消费者的需求。本书分为三部分：第一部分介绍了数据工程的定义、数据工程的生命周期、合理的架构设计和帮助技术选型的框架；第二部分深入介绍了数据工程生命周期的每个阶段——数据生成、存储、获取、转换和服务；第三部分讨论了数据工程的重要部分——安全和隐私。附录还介绍了与处理数据文件和评估数据系统的性能有关的序列化和压缩，以及云网络。本书适合软件工程师、数据科学家、数据工程师和数据分析师等相关技术人员阅读。

前言1
第一部分 基础和构建块7
第1章 数据工程概述9
1.1 什么是数据工程9
1.2 数据工程技能和活动18
1.3 组织内部的数据工程师26
1.4 总结34
1.5 补充资料34
第2章 数据工程生命周期36
2.1 什么是数据工程生命周期36
2.2 数据工程生命周期中的主要底层设计49
2.3 总结66
2.4 补充资料67
第3章 设计好的数据架构68
3.1 什么是数据架构68
3.2 好的数据架构的原则73
3.3 主要架构概念81
3.4 数据架构的示例和类型91
3.5 谁参与了数据架构的设计102
3.6 总结102
3.7 补充资料103
第4章 根据数据生命周期选择技术107
4.1 团队大小和能力108
4.2 加速市场化109
4.3 互操作性109
4.4 成本优化和商业价值110
4.5 现在与未来：不变的与暂时的技术112
4.6 部署位置114
4.7 构建与购买122
4.8 单体与模块化128
4.9 无服务器与服务器131
4.10 优化、性能和基准战争135
4.11 底层设计及其对技术选择的影响137
4.12 总结139
4.13 补充资料139
第二部分 深入数据工程生命周期141
第5章 源系统中的数据生成143
5.1 数据源：数据是如何生成的？144
5.2 源系统：主要观点144
5.3 源系统实际细节152
5.4 你和谁一起工作166
5.5 数据底层设计及其对源系统的影响167
5.6 总结171
5.7 补充资料172
第6章 存储173
6.1 数据存储的原材料174
6.2 数据存储系统180
6.3 数据工程存储抽象195
6.4 存储的重要思想和趋势198
6.5 你和谁一起工作206
6.6 底层设计207
6.7 总结209
6.8 补充资料209
第7章 获取210
7.1 什么是数据获取210
7.2 数据获取阶段的关键工程考虑因素212
7.3 批量获取的考虑因素220
7.4 消息和流获取的考虑因素223
7.5 获取数据的方式225
7.6 你和谁一起工作236
7.7 底层设计237
7.8 总结241
7.9 补充资料242
第8章 查询、建模和转换243
8.1 查询244
8.2 数据建模257
8.3 转换276
8.4 你和谁一起工作293
8.5 底层设计294
8.6 总结298
8.7 补充资料298
第9章 为分析、机器学习和反向ETL提供数据服务300
9.1 提供数据服务的常见关注点301
9.2 分析306
9.3 机器学习310
9.4 数据工程师需要理解的机器学习知识310
9.5 为分析和机器学习提供数据服务的方法312
9.6 反向ETL318
……