机器学习平台架构实战

《机器学习平台架构实战》详细阐述了与机器学习平台架构相关的基本解决方案，主要包括机器学习和机器学习解决方案架构，机器学习的业务用例，机器学习算法，机器学习的数据管理，开源机器学习库，Kubernetes容器编排基础设施管理，开源机器学习平台，使用AWS机器学习服务构建数据科学环境，使用AWS机器学习服务构建企业机器学习架构，高级机器学习工程，机器学习治理、偏差、可解释性和隐私，使用人工智能服务和机器学习平台构建机器学习解决方案等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。

戴维·平是一位资深技术领导者，在技术和金融服务行业拥有超过25年的经验。他的技术重点领域包括云架构、企业机器学习平台设计、大规模的模型训练、智能文档处理、智能媒体处理、智能搜索和数据平台。他目前在AWS领导一个人工智能/机器学习解决方案架构团队，帮助全球公司在AWS云中设计和构建人工智能/机器学习解决方案。在加入AWS之前，David在Credit Suisse和JPMorgan担任过多种高级技术领导职务。他的职业生涯始于英特尔的软件工程师。David拥有康奈尔大学的工程学位。

第1篇 使用机器学习解决方案架构解决业务挑战 第1章 机器学习和机器学习解决方案架构 3 1.1 人工智能和机器学习的定义 4 1.2 监督机器学习 4 1.3 无监督机器学习 6 1.4 强化学习 8 1.5 机器学习与传统软件 9 1.6 机器学习生命周期 11 1.6.1 业务理解和机器学习问题框架 13 1.6.2 数据理解和数据准备 13 1.6.3 模型训练和评估 14 1.6.4 模型部署 14 1.6.5 模型监控 14 1.6.6 业务指标跟踪 15 1.7 机器学习的挑战 15 1.8 机器学习解决方案架构 16 1.8.1 业务理解和机器学习转型 17 1.8.2 机器学习技术的识别和验证 18 1.8.3 系统架构设计与实现 18 1.8.4 机器学习平台工作流自动化 19 1.8.5 安全性和合规性 19 1.9 小测试 20 1.10 小结 21 第2章 机器学习的业务用例 23 2.1 金融服务中的机器学习用例 23 2.1.1 资本市场前台 24 2.1.2 资本市场后台运营 28 2.1.3 风险管理和欺诈检测 31 2.2 媒体和娱乐领域的机器学习用例 38 2.2.1 内容开发和制作 39 2.2.2 内容管理和发现 39 2.2.3 内容分发和客户参与 40 2.3 医疗保健和生命科学领域的机器学习用例 41 2.3.1 医学影像分析 42 2.3.2 药物发现 43 2.3.3 医疗数据管理 44 2.4 制造业中的机器学习用例 45 2.4.1 工程和产品设计 46 2.4.2 制造运营—产品质量和产量 47 2.4.3 制造运营—机器维护 47 2.5 零售业中的机器学习用例 48 2.5.1 产品搜索和发现 48 2.5.2 目标市场营销 49 2.5.3 情绪分析 50 2.5.4 产品需求预测 50 2.6 机器学习用例识别练习 51 2.7 小结 52 第2篇 机器学习的科学、工具和基础设施平台 第3章 机器学习算法 55 3.1 技术要求 55 3.2 机器学习的原理 56 3.3 机器学习算法概述 58 3.3.1 选择机器学习算法时的注意事项 58 3.3.2 机器学习算法类型 59 3.4 分类和回归问题的算法 59 3.4.1 线性回归算法 59 3.4.2 逻辑回归算法 60 3.4.3 决策树算法 60 3.4.4 随机森林算法 62 3.4.5 梯度提升机和XGBoost算法 64 3.4.6 K最近邻算法 65 3.4.7 多层感知器网络 65 3.4.8 聚类算法 68 3.4.9 K-means算法 68 3.5 时间序列分析算法 68 3.5.1 ARIMA算法 69 3.5.2 DeepAR算法 70 3.6 推荐算法 70 3.6.1 协同过滤算法 71 3.6.2 多臂老虎机/上下文老虎机算法 71 3.7 计算机视觉问题的算法 72 3.7.1 卷积神经网络 72 3.7.2 残差网络 73 3.8 自然语言处理问题的算法 74 3.8.1 Word2Vec 76 3.8.2 循环神经网络和长期短期记忆 77 3.8.3 BERT 78 3.8.4 GPT 82 3.8.5 潜在狄利克雷分配算法 82 3.8.6 生成模型 84 3.8.7 生成对抗网络 84 3.9 动手练习 85 3.9.1 问题陈述 85 3.9.2 数据集描述 86 3.9.3 设置Jupyter Notebook环境 86 3.9.4 运行练习 88 3.10 小结 93 第4章 机器学习的数据管理 95 4.1 技术要求 95 4.2 机器学习的数据管理注意事项 96 4.3 机器学习的数据管理架构 98 4.4 数据存储和管理 100 4.4.1 数据湖 100 4.4.2 AWS Lake Formation 101 4.5 数据提取 102 4.5.1 决定数据提取工具时的注意事项 102 4.5.2 Kinesis Firehose 103 4.5.3 AWS Glue 104 4.5.4 AWS Lambda 105 4.6 数据目录 105 4.6.1 采用数据目录技术的关键考虑因素 105 4.6.2 AWS Glue目录 106 4.7 数据处理 106 4.7.1 数据处理技术的关键要求 106 4.7.2 AWS Glue ETL 107 4.7.3 Amazon Elastic Map Reduce 107 4.7.4 AWS Lambda数据处理 107 4.8 数据版本控制 107 4.8.1 S3分区 108 4.8.2 专用数据版本工具 108 4.9 机器学习特征存储 108 4.10 供客户使用的数据服务 109 4.10.1 通过API使用 109 4.10.2 通过数据复制使用 109 4.11 数据管道 109 4.11.1 AWS Glue工作流 110 4.11.2 AWS步骤函数 110 4.12 身份验证和授权 110 4.13 数据治理 111 4.14 动手练习—机器学习的数据管理 113 4.14.1 使用Lake Formation创建数据湖 114 4.14.2 创建数据提取管道 115 4.14.3 创建Glue目录 116 4.14.4 在数据湖中发现和查询数据 118 4.14.5 创建Amazon Glue ETL作业以处理机器学习数据 119 4.14.6 使用Glue工作流构建数据管道 123 4.15 小结 124 第5章 开源机器学习库 125 5.1 技术要求 125 5.2 开源机器学习库的核心功能 126 5.3 了解scikit-learn机器学习库 126 5.3.1 安装scikit-learn 127 5.3.2 scikit-learn的核心组件 127 5.4 了解Apache Spark机器学习机器学习库 129 5.4.1 安装Spark ML 131 5.4.2 Spark机器学习库的核心组件 131 5.5 了解TensorFlow深度学习库 134 5.5.1 安装TensorFlow 136 5.5.2 TensorFlow的核心组件 136 5.6 动手练习—训练TensorFlow模型 138 5.7 了解PyTorch 深度学习库 141 5.7.1 安装PyTorch 141 5.7.2 PyTorch的核心组件 142 5.8 动手练习—构建和训练PyTorch模型 143 5.9 小结 146 第6章 Kubernetes容器编排基础设施管理 147 6.1 技术要求 147 6.2 容器介绍 147 6.3 Kubernetes概述和核心概念 149 6.4 Kubernetes网络 156 6.4.1 Kubernetes网络通信流程 156 6.4.2 从集群外部访问Pod或服务的选项 158 6.4.3 服务网格 161 6.5 Kubernetes安全和访问控制 163 6.5.1 网络安全 163 6.5.2 API的身份验证和授权 164 6.5.3 在Kubernetes上运行机器学习工作负载 168 6.6 动手练习—在AWS上构建Kubernetes基础设施 169 6.6.1 问题陈述 169 6.6.2 操作指导 169 6.7 小结 175 第3篇 企业机器学习平台的技术架构设计和监管注意事项 第7章 开源机器学习平台 179 7.1 技术要求 179 7.2 机器学习平台的核心组件 179 7.3 用于构建机器学习平台的开源技术 180 7.3.1 将Kubeflow用于数据科学环境 181 7.3.2 搭建模型训练环境 184 7.3.3 使用模型注册表注册模型 186 7.3.4 MLflow模型注册表 186 7.3.5 使用模型服务框架 188 7.3.6 Gunicorn和Flask推理引擎 188 7.3.7 TensorFlow Serving框架 189 7.3.8 TorchServe服务框架 191 7.3.9 KFServing框架 192 7.3.10 Seldon Core 194 7.3.11 自动化机器学习管道工作流程 197 7.3.12 Apache Airflow 197 7.3.13 Kubeflow Pipelines 199 7.4 动手练习—使用开源技术构建数据科学架构 201 7.4.1 第1部分—安装Kubeflow 201 7.4.2 第2部分—跟踪实验和管理模型 206 7.4.3 第3部分—使用机器学习管道实现自动化 213 7.4.4 授予命名空间服务账户访问Istio服务的权限 214 7.4.5 创建自动化管道 215 7.5 小结 225 第8章 使用AWS机器学习服务构建数据科学环境 227 8.1 技术要求 227 8.2 使用SageMaker的数据科学环境架构 228 8.2.1 SageMaker Studio 229 8.2.2 SageMaker Processing 230 8.2.3 SageMaker Training服务 232 8.2.4 SageMaker Tuning 233 8.2.5 SageMaker Experiments 234 8.2.6 SageMaker Hosting 234 8.3 动手练习—使用AWS服务构建数据科学环境 235 8.3.1 问题陈述 235 8.3.2 数据集 235 8.3.3 操作步骤说明 235 8.3.4 设置SageMaker Studio 235 8.3.5 设置CodeCommit 237 8.3.6 在Jupyter Notebook中训练BERT模型 238 8.3.7 使用SageMaker Training服务训练BERT模型 244 8.3.8 部署模型 247 8.3.9 将源代码保存到CodeCommit存储库 249 8.4 小结 249 第9章 使用AWS机器学习服务构建企业机器学习架构 251 9.1 技术要求 251 9.2 企业机器学习平台的关键要求 252 9.3 企业机器学习架构模式概述 253 9.4 模型训练环境 255 9.4.1 模型训练引擎 256 9.4.2 自动化支持 257 9.4.3 模型训练生命周期管理 259 9.5 模型托管环境深入研究 259 9.5.1 推理引擎 260 9.5.2 身份验证和安全控制 263 9.5.3 监控和日志记录 264 9.6 为机器学习工作流采用机器学习运维架构 264 9.6.1 机器学习运维架构的组件 265 9.6.2 监控和记录 269 9.6.3 模型训练监控 269 9.6.4 模型端点监控 272 9.6.5 机器学习管道监控 276 9.6.6 服务配置管理 277 9.7 动手练习—在AWS上构建机器学习运维管道 281 9.7.1 为机器学习培训管道创建CloudFormation模板 282 9.7.2 为CodePipeline训练管道创建CloudFormation模板 285 9.7.3 通过事件启动CodePipeline执行 286 9.7.4 为机器学习部署管道创建CloudFormation模板 287 9.8 小结 290 第10章 高级机器学习工程 291 10.1 技术要求 291 10.2 通过分布式训练方式训练大规模模型 291 10.3 使用数据并行进行分布式模型训练 293 10.3.1 参数服务器概述 294 10.3.2 在框架中实现参数服务器 295 10.3.3 AllReduce概述 296 10.3.4 在框架中实现AllReduce和Ring AllReduce 297 10.4 使用模型并行进行分布式模型训练 298 10.4.1 朴素模型并行性概述 299 10.4.2 管道模型并行性概述 300 10.4.3 张量并行概述 302 10.4.4 实现模型并行训练 303 10.4.5 Megatron-LM概述 303 10.4.6 DeepSpeed概述 305 10.4.7 SageMaker分布式训练库概述 306 10.5 实现低延迟模型推理 307 10.5.1 模型推理的工作原理和可优化的机会 307 10.5.2 硬件加速 308 10.5.3 模型优化 310 10.5.4 图和算子优化 312 10.5.5 模型编译器 314 10.5.6 推理引擎优化 315 10.6 动手练习—使用PyTorch运行分布式模型训练 316 10.6.1 修改训练脚本 316 10.6.2 修改train()函数 317 10.6.3 修改get_data_loader()函数 318 10.6.4 为多设备服务器结点添加多处理启动支持 318 10.6.5 修改和运行启动器notebook 318 10.7 小结 319 第11章 机器学习治理、偏差、可解释性和隐私 321 11.1 技术要求 321 11.2 机器学习治理的定义和实施原因 322 11.2.1 围绕模型风险管理的监管环境 322 11.2.2 机器学习模型风险的常见原因 323 11.3 了解机器学习治理框架 324 11.4 了解机器学习偏差和可解释性 325 11.4.1 偏差检测和减少 325 11.4.2 机器学习可解释性技术 327 11.4.3 LIME 327 11.4.4 SHAP 328 11.5 设计用于治理的机器学习平台 329 11.5.1 数据和模型文档 330 11.5.2 模型清单 331 11.5.3 模型监控 332 11.5.4 变更管理控制 333 11.5.5 世系和可重复性 333 11.5.6 可观察性和审计 333 11.5.7 安全和隐私保护 334 11.5.8 差分隐私 335 11.6 动手练习—检测偏差、模型可解释性和训练隐私保护模型 338 11.6.1 方案概述 338 11.6.2 检测训练数据集中的偏差 339 11.6.3 解释训练模型的特征重要性 342 11.6.4 训练隐私保护模型 343 11.7 小结 345 第12章 使用人工智能服务和机器学习平台构建机器学习解决方案 347 12.1 技术要求 347 12.2 人工智能服务的定义 348 12.3 AWS人工智能服务概述 348 12.3.1 Amazon Comprehend 349 12.3.2 Amazon Textract 351 12.3.3 Amazon Rekognition 352 12.3.4 Amazon Transcribe 354 12.3.5 Amazon Personalize 355 12.3.6 Amazon Lex 357 12.3.7 Amazon Kendra 358 12.3.8 针对机器学习用例评估AWS人工智能服务 359 12.4 使用人工智能服务构建智能解决方案 360 12.4.1 自动化贷款文件验证和数据提取 360 12.4.2 贷款文件分类工作流程 362 12.4.3 贷款数据处理流程 363 12.4.4 媒体处理和分析工作流程 363 12.4.5 电商产品推荐 365 12.4.6 通过智能搜索实现客户自助服务自动化 367 12.5 为人工智能服务设计机器学习运维架构 368 12.5.1 人工智能服务和机器学习运维的AWS账户设置策略 369 12.5.2 跨环境的代码推广 371 12.5.3 监控人工智能服务的运营指标 371 12.6 动手练习—使用人工智能服务运行机器学习任务 372 12.7 小结 376