Python分布式机器学习

本书详细阐述了与分布 式机器学习相关的基本解决 方案，主要包括拆分输入数 据、参数服务器和All- Reduce、构建数据并行训 练和服务管道、瓶颈和解决 方案、拆分模型、管道输入 和层拆分、实现模型并行训 练和服务工作流程、实现更 高的吞吐量和更低的延迟、 数据并行和模型并行的混合 、联合学习和边缘设备、弹 性模型训练和服务、进一步 加速的高级技术等内容。此 外，本书还提供了相应的示 例、代码，以帮助读者进一 步理解相关方案的实现过程 。 本书适合作为高等院校 计算机及相关专业的教材和 教学参考书，也可作为相关 开发人员的自学用书和参考 手册。

第1篇 数据并行 第1章 拆分输入数据 1.1 单节点训练太慢 1.1.1 数据加载带宽和模型训练带宽之间的不匹配 1.1.2 流行数据集的单节点训练时间 1.1.3 使用数据并行加速训练过程 1.2 数据并行 1.2.1 随机梯度下降 1.2.2 模型同步 1.3 超参数调优 1.3.1 全局批次大小 1.3.2 学习率调整 1.3.3 模型同步方案 1.4 小结 第2章 参数服务器和All-Reduce 2.1 技术要求 2.2 参数服务器架构 2.2.1 参数服务器架构中的通信瓶颈 2.2.2 在参数服务器之间分片模型 2.3 实现参数服务器 2.3.1 定义模型层 2.3.2 定义参数服务器 2.3.3 定义工作节点 2.3.4 在参数服务器和工作节点之间传递数据 2.4 参数服务器的问题 2.4.1 情况1——更多参数服务器 2.4.2 情况2——更多工作节点 2.4.3 参数服务器架构为从业者带来了很高的编码复杂度 2.5 All-Reduce架构 2.5.1 Reduce 2.5.2 All-Reduce 2.5.3 RingAll-Reduce 2.6 集体通信 2.6.1 Broadcast 2.6.2 Gather 2.6.3 All-Gather 2.7 小结 第3章 构建数据并行训练和服务管道 3.1 技术要求 3.2 数据并行训练管道概述 3.2.1 输入预处理 3.2.2 输入数据分区 3.2.3 数据加载 3.2.4 数据训练 3.2.5 模型同步 3.2.6 模型更新 3.3 单机多GPU和多机多GPU 3.3.1 单机多GPU 3.3.2 多机多GPU 3.4 检查点和容错