多核并行高性能计算

本书主要介绍共享内存并行编程语言OpenMP的基本原理，采用实例方式讲解在Fortran语言环境中OpenMP并行程序的编写和运行，并综合评述了高性能计算编程中遇到的常见问题和解决方案。本书面向实际应用，简洁易学，使读者能够亲身感受到并行计算的魅力。
本书可以用作涉及高性能计算的理工科高年级本科生和研究生的并行计算课程的教材，也可以作为从事并行计算研究、设计和开发的教师和工程师的专业参考书。

雷洪，1973年生。主要研究领域为：钢中夹杂物，炉外精炼和连续铸钢，计算流体力学。年来负责参加国家及省部级项目10项，获省部级奖励7次，讲授“工程热物理实用数值技术”、“高等流体力学”等4门课程，已在靠前外学术刊物和重要会议上发表学术论文100余篇。已出版著作：[1] Camille L. Bertrand. Electrostatics: Theory and Applications. New York: Nova Science Publishers, Inc. 2011. ISBN: 978-1-61668-549-2 page: 83-123Chapter 3 Numerical Simulation for Electrostatic Field, Flow Field and Particle Behavior in a Wire-Plate Electrostatic Precipitator. ( Hong LEI 约60千字)[2] 雷洪. 结晶器冶金学. 北京: 冶金工业出版社. 2011年11月. 228千字. ISBN 978-7-5024-5763-1[3] 雷洪, 张红伟. 结晶器冶金过程模拟. 北京: 冶金工业出版社. 2014年11月. 473千字. ISBN 978-7-5024-6635-0
胡许冰，1972年生，负责东北大学超算云计算中心的整体设计和研发管理工作。

1 并行计算概论
1.1 多核CPU
1.2 并行计算与分布式计算
1.3 并行计算机的种类
1.3.1 CPU与存储器的连接方式
1.3.2 数据的通信方式
1.3.3 指令和数据之间的工作方式
1.4 并行编程模式
1.4.1 共享内存模式
1.4.2 消息传递模式
1.4.3 数据并行模式
1.5 OpenMP和MPI的特点
1.6 并行计算中常用概念
1.6.1 程序、线程、进程和超线程
1.6.2 单核编程和多核编程
1.6.3 多线程编程和多进程编程
1.6.4 并行算法评价
1.7 OpenMP多核编程
1.7.1 OpenMP历史
1.7.2 OpenMP特点
1.8 科学计算领域语言的选取
1.9 Fortran发展历史
1.9.1 Windows系统
1.9.2 Linux系统
1.9.3 Fortran程序的编译和执行
1.10 小结
练习题
2 OpenMP编程简介
2.1 编译指导语句
2.2 并行执行模式
2.2.1编译指导语句格式
2.2.2 主要指令
2.2.3 主要子句
2.2.4 指令和子句的配套使用
2.3 头文件
2.4 常用库函数
2.5 最简单的并行程序
2.6 小结
练习题
3 数据环境
3.1 PRIVATE子句和SHARED子句和DEFAULT子句
3.2 FIRSTPRIVATE子句和LASTPRIVATE子句
3.3 THREADPRIVATE子句
3.4 COPYIN子句和COPYPRIVATE子句
3.5 REDUCTION子句
3.6 伪共享
3.7 小结
练习题
4 并行控制
4.1 PARALLEL指令
4.2 设定线程数量
4.3 默认模式
4.4 静态模式
4.5 动态模式
4.6 嵌套模式与NUM_THREADS子句
4.7 IF子句（条件并行）
4.8 小结
练习题
5 并行构造
5.1 负载平衡
5.1.1 静态负载平衡
5.1.2 动态负载平衡
5.2 DO指令
5.2.1 循环依赖
5.2.2 单重循环
5.2.3 嵌套循环
5.2.4 循环工作量的划分与调度
5.3 SECTIONS指令
5.4 WORKSHARE指令
5.5 SINGLE指令
5.6 小结
练习题
6 线程同步
6.1 互斥锁机制
6.2 事件同步机制
6.3 BARRIER指令
6.4 NOWAIT指令
6.5 MASTER指令
6.6 CRITICAL指令
6.7 ATOMIC指令
6.8 ORDERED指令
6.9 FLUSH指令
6.10 小结
练习题
7 运行环境
7.1 环境变量
7.1.1 OMP_DYNAMIC
7.1.2 OMP_SCHEDULE
7.1.3 OMP_NUM_THREADS
7.1.4 OMP_NESTED
7.1.5 OMP_STACKSIZE
7.1.6 环境变量的设置方法
7.2 库函数
7.2.1 运行环境操作函数
7.2.2 OpenMP时间函数
7.2.3 Fortran常用时间函数
7.2.4 锁函数
7.3 小结
练习题
8 OpenMP3.0 新特征
8.1 任务
8.1.1 任务结构
8.1.2 任务特征
8.1.3 任务类别
8.1.4 任务同步
8.1.5 DO指令、SECTIONS指令和TASK指令
8.1.6 TASK指令与递归算法
8.2 DO指令和COLLAPSE子句
8.3 锁拥有者的变迁
8.4 小结
练习题
9 应用实例
9.1 循环的并行
9.1.1 单重循环
9.1.2 多维数组和嵌套循环
9.2 粗粒度的设置
9.2.1 IF子句
9.2.2 if语句
9.2.3 方案总结
9.3 全局变量和局部变量
9.3.1 common定义
9.3.2 module定义
9.3.3 全局变量、局部变量和共享变量、私有变量
9.3.4 私有变量和段错误
9.4 小结
练习题
10 高性能计算程序的实现途径
10.1 硬件条件和操作系统
10.2 科学问题算法的优化
10.2.1 数学模型
10.2.2 求解方法
10.3 串行程序的编写
10.4 常见的调试器
10.5 高性能程序的优化步骤
10.6 串行程序的正确性调试
10.6.1 程序的错误类型
10.6.2 计算程序中常见错误
10.6.3 静态安全检查
10.6.4 动态安全检查
10.6.5 IDBC串行调试
10.7 程序热点的确定
10.7.1编译器热点分析报告
10.7.2手动热点分析报告
10.8 串行程序的优化
10.8.1 循环变换
10.8.2 向量化
10.8.3 Intel Fortran常用优化策略
10.9 并行程序的优化
10.9.1 性能提升的预估
10.9.2 并行优化步骤
10.9.3 向导自动并行化(GAP)
10.9.4 优化技术
10.9.5 自动并行化
10.9.5 并行调试策略
10.9.6 idbc并行调试
10.10 小结
练习题
参考文献
附录
附录1 常用的Linux命令
附录2 Linux下的文本编辑器vi
附录3 Intel Fortran安装
附录4 常用的GDB命令
附录5 Linux环境下Intel Fortran常用编译方案
附录6 Intel Fortran常用编译开关
附录7 C和C++语言中OpenMP常见用法

近年来，多核计算机和共享内存编程OpenMP的出现，使并行计算在工科专业的推广成为可能。本书分析了当前流行的并行计算技术，从中遴选出适合大多数工程科技人员应用的OpenMP并行计算技术，从实例入手阐明程序运行过程，清晰而简洁地展示OpenMP并行计算原理、编程特点和方法。同时，结合工程实际，采用实例剖析高性能计算程序的完整实现途径。
作者编写本书，目标是给从事较大规模工程计算的工程师提供一本多核心体系结构计算系统的实用参考书，为我国并行计算普及工作略尽绵薄之力。希望本书能够帮助工程技术人员了解并掌握并行计算知识，并在实际工作和学习中顺利运用，从而避免作者在获取这些经验时所犯的类似错误。
随着高性能计算技术迅速的发展，国家急需具备并行计算专业技能的高科技人才，已有高校开设云计算与大数据处理技术专业方向。本书可以作为高等院校计算机专业OpenMP并行计算应用课程的教材，也可以作为其他理工科专业并行计算和数据处理技术的教材。