OpenACC并行编程实战

靠前章介绍不错计算技术发展趋势和并行编程概况，可以从中了解OpenACC的作用。没有CUDAC基础的读者能够掌握基本概念，便于深入理解OpenACC的并行化技术。第2章介绍OpenACC语言的设计思路。第3~4章是本书的核心，将计算部分并行化，并将数据传递时间减到少。至此读者已经能够编写性能良好的OpenACC程序。第5~7章介绍不错并行技术，用于性能优化、与CUDAC/CUDAFortran和各类库的混合编程。第8章给出OpenACC规定的所有运行时例程，不用细读，用到时再参考。第9章指导部署开发环境，以便快速上手。

何沧平，华为不错工程师，NVIDIA认证CUDA培训师。曾任中科曙光HPC事业部工程师，完成优选天气预报程序并行化项目(加速30倍)和国家气象局天气预报程序并行化项目等，实战经验丰富。精通OpenACC、CUDAFortran、CUDAC，OpenMP、MPI编程。2012年初开始关注研究OpenACC，陆续翻译OpenACC1.0／2.0／2.0a／2.5语言规范以及《CUDAFortran高效编程实践》，撰写大量在线技术教程，并建立中国优选OpenACCQQ交流群和资源网站，持续推广。

序
前言
第1章并行编程概览1
1.1加速器产品1
1.1.1英伟达GPU3
1.1.2英特尔至强融核处理器9
1.2并行编程语言12
1.3CUDAC14
1.3.1线程组织方式16
1.3.2运行过程18
1.3.3内存层级20
1.3.4性能优化技术21
第2章OpenACC概览22
2.1OpenACC规范的内容23
2.1.1抽象加速器模型25
2.1.2存储模型25
2.1.3计算执行模型26
2.2OpenACC2.5规范29
第3章OpenACC计算构件36
3.1条件编译37
3.2导语格式38
3.3计算构件kernels40
3.3.1构件内有1个循环41
3.3.2构件内2个循环44
3.3.3构件内二重嵌套循环45
3.3.4kernels构件内三重嵌套循环48
3.4loop构件52
3.4.1independent子语53
3.4.2reduction归约子语57
3.4.3不常用的子语64
3.5计算构件parallel66
3.5.1gang单独模式68
3.5.2gang分裂模式70
3.5.3二重循环73
3.5.4三重循环75
3.6组合导语77
3.7案例研究：Jacobi迭代78
3.7.1CPU上并行化84
3.7.2GPU上并行化88
3.8原子操作：atomic导语91
第4章数据管理97
4.1数据属性、数据区域和数据生存期99
4.2计算构件的伴随数据区域100
4.2.1引用计数101
4.2.2present子语102
4.2.3copy子语104
4.2.4copyin子语105
4.2.5copyout子语107
4.2.6create子语108
4.2.7数据子语内的子数组111
4.2.8private私有子语112
4.2.9承上私有firstprivate子语115
4.2.10带有预置数据属性的变量116
4.2.11default默认子语117
4.2.12案例研究：Jacobi迭代优化数据传输117
4.3data构件119
4.3.1数据管理功能119
4.3.2deviceptr子语121
4.3.3案例研究：data构件迭代优化Jacobi数据传输122
4.4enterdata导语和exitdata导语128
4.4.1C++类的数据生存期129
4.4.2传递设备数据指针133
4.5update导语135
4.6declare导语138
4.6.1device_resident子语139
4.6.2create子语140
4.6.3link子语140
4.6.4用法举例141
4.7特定设备的子语146
第5章计算区域内的过程调用148
5.1routine导语150
5.2seq子语（C版）151
5.3seq子语（Fortran版）152
5.4routine（名字）154
5.5bind子语155
5.6用子语指定并行级别155
5.6.1vector级别并行156
5.6.2worker、worker级别并行159
5.7计算圆周率π160
第6章高级特性164
6.1异步操作164
6.1.1async子语165
6.1.2wait子语165
6.1.3wait导语166
6.2设备计算与主机计算重叠166
6.3设备上同时执行多个队列169
6.4重叠计算与数据传输172
6.4.1步骤0：串行代码174
6.4.2步骤1：计算并行化177
6.4.3步骤2：分块计算178
6.4.4步骤3：数据分块传输179
6.4.5步骤4：重叠计算与传输181
6.5双向传输183
6.6多个设备同时运算185
6.6.1环境变量186
6.6.2运行过程中选择设备186
6.6.3OpenMP调动多个设备195
第7章与GPU生态环境互操作202
7.1OpenACC调用CUDAC203
7.2OpenACC调用CUDAFortran205
7.3CUDAC调用OpenACC207
7.4捆绑主机地址与设备地址208
7.5CUDAFortran调用OpenACC210
7.6OpenACC（C）调用cuBLAS211
7.7OpenACC（Fortran）调用cuBLAS212
第8章运行时函数213
8.1运行时库的定义213
8.2运行时库例程215
8.2.1acc_get_num_devices215
8.2.2acc_set_device_type216
8.2.3acc_get_device_type217
8.2.4acc_set_device_num217
8.2.5acc_get_device_num218
8.2.6acc_init218
8.2.7acc_shutdown219
8.2.8acc_async_test219
8.2.9acc_async_test_all220
8.2.10acc_wait220
8.2.11acc_wait_async221
8.2.12acc_wait_all221
8.2.13acc_wait_all_async222
8.2.14acc_get_default_async222
8.2.15acc_set_default_async223
8.2.16acc_on_device223
8.2.17acc_malloc224
8.2.18acc_free224
8.2.19acc_copyin225
8.2.20acc_create226
8.2.21acc_copyout227
8.2.22acc_delete228
8.2.23acc_update_device229
8.2.24acc_update_self230
8.2.25acc_map_data231
8.2.26acc_unmap_data231
8.2.27acc_deviceptr231
8.2.28acc_hostptr232
8.2.29acc_is_present232
8.2.30acc_memcpy_to_device233
8.2.31acc_memcpy_from_device233
8.2.32acc_memcpy_device234
第9章开发环境搭建235
9.1Windows7236
9.2Linux（rhel）244
9.3编译工具、特性支持度247
第10章在神威·太湖之光上使用OpenACC253
10.1SW26010众核处理器253
10.2存储模型254
10.3执行模型256
10.4数据管理256
附录著名超级计算机259
后记码农的悲喜264