并行编程实践

本书介绍并行程序设计 方法及相关编程工具与实践 ，分5篇共14章。第一篇“并 行程序设计基础”含两章， 包括并行计算机系统与结构 模型、并行程序设计简介； 第二篇“SIMD指令级并行编 程”含两章，包括SIMD基本 概念和x86处理器上的并行 指令编程方法和示例、ARM 结构上的NEON向量指令编 程与示例；第三篇“多核并 行计算”含4章，包括 Pthread多线程编程、 OpenMP编程、GPU上的 CUDA编程、寒武纪MLU编 程基础；第四篇“多机并行 计算”含4章，包括MPI并行 计算及示例、Hadoop编程 方法及示例、Spark编程和 示例、TensorFlow多机异构 计算的编程方法和示例；第 五篇给出了并行算法实现示 例。 本书涉及范围广，覆盖 了单核、多核和多机环境下 的并行编程方法，读者可根 据自己的计算问题和计算平 台特性，选择合适的并行编 程方法和工具，结合各章给 出的性能调优思路有效地实 现并行编程。本书可作为高 等学校计算机及相关专业本 科高年级学生和研究生的教 材，也可供从事并行程序设 计及其实现的科技人员参考 阅读。

第一篇 并行程序设计基础 第1章 并行计算机系统与结构模型 1.1 典型并行计算机系统简介 1.1.1 阵列处理机 1.1.2 向量处理机 1.1.3 共享存储多处理机 1.1.4 分布存储多计算机 1.1.5 分布共享存储多处理机 1.2 当代并行计算机体系结构 1.2.1 并行计算机体系结构模型 1.2.2 并行计算机存储结构模型 1.2.3 分布式高速缓存与主存体系结构 1.3 小结 习题 第2章 并行程序设计简介 2.14 并行程序开发方法 2.1.1 并行层次与代码粒度 2.1.2 并行程序开发策略 2.1.3 并行编程模式 2.1.4 PCAM设计方法学 2.2 并行程序设计模型 2.2.1 计算π样本程序 2.2.2 数据并行模型 2.2.3 消息传递模型 2.2.4 共享变量模型 2.3 并行编程语言和环境概述 2.3.1 早期并行编程语言 2.3.2 近代并行编程语言与高生环境 2.3.3 并行说明性语言环境 2.4 循环程序并行化的一般方法 2.4.1 数据相关分析 2.4.2 数据划分与处理器指派 2.4.3 循环重构 2.5 小结 习题 第二篇 SIMD指令级并行编程 第3章 SIMD并行编程 3.1 SIMD指令 3.1.1 工作原理 3.1.2 SIMD程序性能分析 3.1.3 典型的SIMD指令集 3.2 SIMD编程方法 3.2.1 基于SIMD库函数的编程 3.2.2 编译器自动向量化 3.2.3 编译制导、内置函数与汇编方法 …… 第三篇 多核并行计算 第四篇 多机并行计算 第五篇 并行算法实现示例 参考文献