并行程序设计(计算机科学与技术面向新工科专业建设计算机系列教材)

本书是针对“并行程序设 计”“并行计算”等课程编写 的教材，内容包括并行计算 基础知识、共享内存系统的 OpenMP和Pthreads多线程 编程、消息传递系统的MPI 编程、Slurm作业管理系统 、GPU等异构系统的 CUDA/OpenCL/OpenACC/At hread编程、常用的并行设 计与性能优化方法、典型并 行应用算法等，另外，还特 别增加了针对我国自主研发 的申威处理器编程的相关内 容。本书涵盖并行程序设计 最常用的编程语言/接口、 设计与性能优化方法、基础 应用算法等内容，一方面反 映了OpenMP、MPI等成熟 编程语言接口的新特性，以 及GPU异构编程等新型编程 接口；另一方面在典型并行 应用算法部分尝试用计算机 专业人员易于理解的方式介 绍典型算法，特别是以线性 方程组迭代求解方法中的共 轭梯度法为例。本书每章都 设置了以编程为主的习题， 鼓励读者通过编写程序掌握 相关方法。 本书适合作为计算机和 信息类专业高年级本科生和 研究生的教材，也可供高性 能计算和并行计算领域的科 研人员参考。

刘轶，博士，北京航空航天大学计算机学院教授、博士生导师。现为北京航空航天大学计算机学院中德联合软件研究所所长。主要研究方向为计算机系统结构及高性能计算、计算机网络。近年来主持／参加了多项国家重大／重点研究项目，在多核／众核处理器并行编程、高性能计算系统模拟与容错技术等方面开展研究工作。近年来在国际期刊、学报及IEEE国际会议上发表论文数十篇，拥有发明专利20余项。获北京市科技进步一等奖一项、教学成果一等奖一项。近年来主讲课程包括：计算机学院本科生“计算机网络”、研究生“并行程序设计”和高等理工学院研究生“并行计算”。

第1章 并行程序设计概述 1.1 并行性概述 1.2 如何衡量计算速度 1.3 并行计算系统基本知识 1.3.1 弗林分类 1.3.2 共享内存系统与消息传递系统 1.3.3 几种常见的并行计算系统 1.3.4 互连网络 1.3.5 多级存储体系结构 1.4 并行编程语言/接口分类 1.5 浮点数格式 1.6 例子程序 1.6.1 矩阵相乘 1.6.2 规约和扫描 1.7 小结 习题 第2章 共享内存系统并行编程 2.1 共享内存系统中的并行模型 2.1.1 多线程并行概述 2.1.2 同步与互斥的概念 2.2 OpenMP编程 2.2.1 概述 2.2.2 OpenMP的基本命令 2.2.3 共享工作构造及其组合 2.2.4 线程问同步与互斥 2.2.5 常用子句 2.2.6 OpenMP示例程序：级数法计算圆周率 2.2.7 task工作构造 2.3 Pthreads编程 2.3.1 Pthreads简介 2.3.2 线程的创建和终止 2.3.3 线程互斥 2.3.4 Pthreads示例程序：级数法计算圆周率 2.3.5 线程同步 2.3.6 Pthreads示例程序：生产者-消费者 2.3.7 线程死锁与锁粒度 2.4 .面向多核系统的新型编程语言/接口 2.4.1 Cilk与Cilk++ 2.4.2 TBB 2.5 小结 习题 第3章 消息传递系统并行编程 3.1 MPI简介 3.1.1 MPI是什么？ 3.1.2 MPI的并行模式 3.1.3 一个简单的MPI程序 3.1.4 MPI基本环境 3.1.5 通信子、进程组、进程号 3.1.6 MPI数据类型 3.1.7 MPI通信简介