并行计算与高性能计算

编写可扩展的、快速、 强大、节能的程序，才适合 处理大量数据。使用并行编 程，可将数据处理任务分布 在多个CPU上完成，从而从 根本上提高性能。只需要稍 加学习，读者就可以创建速 度和效率最大化的软件。 《并行计算与高性能计 算》将讲述用于提高代码运 行效率的技术。你将学习评 估硬件架构，学会使用 OpenMP和MPI等行业标准 工具，将掌握用于高性能计 算的数据结构和算法，并学 习手持设备的节能技术。你 甚至可在一组GPU上运行大 规模海啸仿真程序。 主要内容：规划新的并 行项目，了解CPU和GPU架 构上的差异，找到性能不佳 的内核和循环，使用批处理 调度来管理应用程序。 阅读门槛：本书适用于 精通高性能计算语言（如C 、C++或Fortran)的有经验 的程序员。

Robert Robey在洛斯阿拉莫斯国家实验室工作，30多年来一直活跃在并行计算领域。Yuliana Zamora目前是芝加哥大学的博士生及Siebel学者，曾在许多国家会议上讲授现代硬件编程技术。

第Ⅰ部分 并行计算介绍 第1章 为什么使用并行计算 1.1 为什么要学习并行计算 1.1.1 并行计算的潜在优势是什么 1.1.2 并行计算的注意事项 1.2 并行计算的基本定律 1.2.1 并行计算的极限：Amdahl定律 1.2.2 突破并行极限：Gustafson-Barsis定律 1.3 并行计算如何工作 1.3.1 应用程序示例 1.3.2 当今异构并行系统的硬件模型 1.3.3 当今异构并行系统的应用程序模型及软件模型 1.4 对并行方法进行分类 1.5 并行策略 1.6 并行加速与比较加速：两种不同的衡量标准 1.7 你将在本书中学到哪些内容 1.7.1 扩展阅读 1.7.2 练习 1.8 本章小结 第2章 规划并行化 2.1 处理新项目：准备工作 2.1.1 版本控制：为并行代码创建一个安全的存储库 2.1.2 测试套件：创建健壮、可靠的应用程序的第一步 2.1.3 查找和修复内存问题 2.1.4 提高代码的可移植性 2.2 概要分析：探测系统功能和应用程序性能之间的差距 2.3 计划：成功的基础 2.3.1 探索benchmark和mini-apps 2.3.2 核心数据结构和代码模块化设计 2.3.3 算法：重新设计并行 2.4 实施 2.5 提交：高质量的打包过程 2.6 进一步探索 2.6.1 扩展阅读 2.6.2 练习 2.7 本章小结 第3章 性能极限与分析 3.1 了解应用程序的潜在性能限制 3.2 了解硬件性能：基准测试 3.2.1 用于收集系统特征的工具 3.2.2 计算浮点运算的最大理论值 3.2.3 内存层级和理论内存带宽 3.2.4 带宽和浮点运算的实证测量 3.2.5 计算flop和带宽之间的机器平衡 3.3 描述你的应用程序：分析 3.3.1 分析工具 3.3.2 处理器时钟频率和能耗的实证测量 3.3.3 在运行时跟踪内存 3.4 进一步探索 3.4.1 扩展阅读 3.4.2 练习 3.5 本章小结 …… 第Ⅱ部分 CPU：并行的主力 第Ⅲ部分 GPU：加速应用程序运行 第Ⅳ部分 高性能计算生态系统 附录A 参考资料 附录B 习题答案