机器学习大数据平台的构建、任务实现与数据治理——使用Azure、DevOps、MLOps

主要内容包括
数据字典和数据治理
数据质量管控、合规和分发
构建自动化管道以提高可靠性
数据摄取、存储和分发
支持生产环境中的数据建模、分析和机器学习

第1章 简介 1
1.1 什么是数据工程 2
1.2 本书读者对象 3
1.3 什么是数据平台 3
1.3.1 数据平台的构成 4
1.3.2 基础设施即代码，无代码基础设施 6
1.4 使用云构建 7
1.4.1 IaaS、PaaS和SaaS 7
1.4.2 网络、存储和计算 7
1.4.3 如何使用Azure 8
1.4.4 与Azure交互 8
1.5 实现Azure数据平台 11
1.6 本章小结 13
第Ⅰ部分 基础设施
第2章 存储 17
2.1 在数据平台中存储数据 18
2.1.1 跨多个数据织物存储数据 19
2.1.2 SSOT 20
2.2 Azure Data Explorer简介 22
2.2.1 部署Azure Data Explorer集群 23
2.2.2 使用Azure Data Explorer 26
2.2.3 解决查询问题 29
2.3 Azure Data Lake Storage简介 30
2.3.1 创建Azure Data Lake Storage账户 30
2.3.2 使用Azure Data Lake Storage 31
2.3.3 集成Azure Data Explorer 32
2.4 数据摄取 34
2.4.1 数据摄取频率 34
2.4.2 加载类型 36
2.4.3 数据重建和重新加载 38
2.5 本章小结 41
第3章 DevOps 43
3.1 什么是DevOps 44
3.2 Azure DevOps简介 47
3.3 部署基础设施 50
3.3.1 导出Azure Resource Manager模板 51
3.3.2 创建Azure DevOps服务连接 54
3.3.3 部署Azure Resource Manager模板 56
3.3.4 理解Azure Pipelines 60
3.4 部署Azure Data Explorer对象和分析 61
3.4.1 使用Azure DevOps市场扩展 63
3.4.2 将所有内容都存储在Git并自动部署所有内容 67
3.5 本章小结 68
第4章 编排 69
4.1 导入Bing COVID-19开放数据集 70
4.2 Azure Data Factory简介 72
4.2.1 设置数据源 73
4.2.2 设置数据接收器 75
4.2.3 设置管道 79
4.2.4 设置触发器 82
4.2.5 使用Azure Data Factory进行编排 84
4.3 Azure Data Factory的DevOps 84
4.3.1 从Git部署Azure Data Factory 87
4.3.2 设置访问控制 88
4.3.3 部署生产环境的Azure Data Factory 90
4.3.4 小结 92
4.4 使用Azure Monitor进行监控 93
4.5 本章小结 95
第Ⅱ部分 具体的工作任务
第5章 数据处理 99
5.1 数据建模技术 100
5.1.1 规范化和反规范化 100
5.1.2 数据仓库 103
5.1.3 半结构化数据 104
5.1.4 小结 107
5.2 身份钥匙环 108
5.3 时间线 113
5.4 应用DevOps以保证数据处理能够按计划可靠地运行 116
5.5 本章小结 127
第6章 数据分析 129
6.1 开发环境和生产环境分离下如何访问数据 130
6.2 设计数据分析的工作流程 136
6.3 让数据科学家能够自助移动数据 144
6.3.1 基本原则和相关背景 145
6.3.2 数据合约 145
6.3.3 管道验证 146
6.3.4 事后分析 150
6.3.5 小结 151
6.4 本章小结 151
第7章 机器学习 153
7.1 训练一个机器学习模型 154
7.1.1 使用scikit-learn训练模型 155
7.1.2 高消费者模型实现 156
7.2 引入Azure Machine Learning 158
7.3 MLOps 167
7.4 机器学习的编排 172
7.5 本章小结 179
第Ⅲ部分 数据治理
第8章 元数据 183
8.1 理解大数据平台中元数据的需求 184
8.2 介绍Azure Purview 186
8.3 维护数据字典 190
8.4 管理数据术语表 196
导入 198
8.4.4 小结 200
8.5 了解Azure Purview的高级功能 200
8.6 本章小结 204
第9章 数据质量 207
9.1 数据测试概述 207
9.2 使用Azure Data Factory进行数据质量检查 214
9.3 扩展数据测试 221
9.4 本章小结 231
第10章 合规 233
10.1 数据分类 234
10.2 将敏感数据变得不那么敏感 237
10.3 访问控制模型 247
10.4 GDPR 和其他考虑因素 256
10.5 本章小结 259
第11章 数据分发 261
11.1 数据分发概述 262
11.2 构建数据API 264
11.3 机器学习模型如何对外提供服务 274
11.4 共享数据进行批量复制 274
11.5 数据共享的很好实践 282
11.6 本章小结 284
附录A Azure服务 285
附录B KQL快速参考 287
附录C 运行代码示例 289