高性能计算 现代系统与应用实践

高性能计算涉及硬件架构、操作系统、编程工具和软件算法等跨学科的知识，学习曲线较长。本书从中提炼出核心知识及技能，为初学者构建了一条易于理解的学习路径，夯实基础的同时注重培养实战能力。书中首先介绍基础知识，包括执行模型、体系结构、性能度量、商品集群等；接着讲解吞吐量计算、共享内存计算、消息传递计算和加速GPU计算，围绕这些模型的概念、细节及编程实践展开讨论；然后引导读者构建应用程序，涵盖并行算法、库、可视化及性能优化等；最后，考虑真实系统环境，讨论了操作系统、大容量存储、文件系统及MapReduce算法等。书中通过大量示例来说明实际操作方法，这些均可在并行计算机上执行，以帮助读者更好地理解方法背后的原因。

译者序
序言
前言
致谢
第1章绪论1
1.1高性能计算学科2
1.1.1定义3
1.1.2应用程序3
1.1.3性能和指标3
1.1.4高性能计算系统4
1.1.5超算问题6
1.1.6应用编程7
1.2超算对科学、社会和安全的影响8
1.2.1促进欺诈检测和市场数据分析8
1.2.2发现、管理和分配石油和天然气8
1.2.3加快制造业的创新9
1.2.4个性化医药和药物发现9
1.2.5预测自然灾害和了解气候变化10
1.3超级计算机剖析11
1.4计算机性能13
1.4.1性能13
1.4.2峰值性能13
1.4.3持续性能14
1.4.4可扩展性15
1.4.5性能退化15
1.4.6性能提升17
1.5超级计算机简史17
1.5.1第一个阶段——利用机械技术的自动计算机18
1.5.2第二个阶段——真空管时代的冯·诺依曼架构19
1.5.3第三个阶段——指令级并行23
1.5.4第四个阶段——向量处理和积分24
1.5.5第五个阶段——单指令多数据阵列27
1.5.6第六个阶段——顺序处理器的通信和超大规模集成电路27
1.5.7第七个阶段——多核和千万亿次30
1.5.8新数字时代和超越摩尔定律30
1.6作为学生的指南和工具31
1.7本章小结及成果32
1.8练习33
参考文献34
第2章HPC架构：系统和技术35
2.1引言35
2.2HPC架构的关键特性36
2.2.1速度36
2.2.2并行性36
2.2.3效率37
2.2.4功率37
2.2.5可靠性38
2.2.6可编程性38
2.3并行架构家族——弗林分类法39
2.4支持技术41
2.4.1技术阶段41
2.4.2技术的角色44
2.4.3数字逻辑45
2.4.4存储技术47
2.5冯·诺依曼顺序处理器50
2.6向量和流水线52
2.6.1流水线并行53
2.6.2向量处理55
2.7单指令多数据阵列56
2.7.1单指令多数据架构56
2.7.2阿姆达定律57
2.8多处理器59
2.8.1共享内存多处理器60
2.8.2大规模并行处理器62
2.8.3商品集群系统62
2.9异构计算机结构63
2.10本章小结及成果64
2.11练习65
参考文献67
第3章商品集群68
3.1引言68
3.1.1商品集群的定义68
3.1.2集群的动机和理由69
3.1.3集群元素70
3.1.4对500强名单的影响70
3.1.5简史71
3.1.6章节指南73
3.2Beowulf集群项目74
3.3硬件架构76
3.3.1节点76
3.3.2系统区域网络77
3.3.3辅助存储78
3.3.4商业系统摘要78
3.4编程接口78
3.4.1高性能计算程序设计语言78
3.4.2并行编程模式80
3.5软件环境80
3.5.1操作系统80
3.5.2资源管理82
3.5.3调试器83
3.5.4性能分析84
3.5.5可视化85
3.6基本使用方法86
3.6.1登录86
3.6.2用户空间和目录系统87
3.6.3包的配置和构建92
3.6.4编译器和编译93
3.6.5运行应用程序94
3.7本章小结及成果94
3.8练习95
参考文献95
第4章基准测试程序97
4.1引言97
4.2HPC基准测试程序的关键属性100
4.3标准的HPC社区的基准测试程序101
4.4高度并行计算的Linpack102
4.5HPC挑战基准测试套件104
4.6高性能共轭梯度106
4.7NAS并行基准测试程序110
4.8Graph500111
4.9小型应用作为基准测试程序115
4.10本章小结及成果116
4.11练习117
参考文献118
第5章资源管理的基础119
5.1资源管理119
5.2SLURM的基础123
5.2.1架构概述123
5.2.2工作负载的组织124
5.2.3SLURM调度125
5.2.4SLURM命令概要127
5.2.5SLURM作业脚本141
5.2.6SLURM速查表146
5.3便携式批量系统基础147
5.3.1PBS概述147
5.3.2PBS架构148
5.3.3PBS命令概要148
5.3.4PBS作业脚本158
5.3.5PBS速查表160
5.4本章小结及成果161
5.5练习162
参考文献163
第6章对称多处理器架构164
6.1引言164
6.2架构概览165
6.3阿姆达定律168
6.4处理器核心的架构171
6.4.1执行流水线172
6.4.2指令级并行173
6.4.3分支预测173
6.4.4直通174
6.4.5保留站174
6.4.6多线程174
6.5存储层次175
6.5.1数据重用和局部性175
6.5.2存储层次结构176
6.5.3存储系统的性能178
6.6PCI总线180
6.7外部I/O接口184
6.7.1网络接口控制器184
6.7.2串行高级技术附件185
6.7.3JTAG187
6.7.4通用串行总线189
6.8本章小结及成果190
6.9练习191
参考文献192
第7章OpenMP的基础194
7.1引言194
7.2OpenMP编程模型概览195
7.2.1线程并行195
7.2.2线程变量197
7.2.3运行时库与环境变量197
7.3并行线程和循环199
7.3.1并行线程199
7.3.2私有200
7.3.3并行“for”语句200
7.3.4块206
7.4同步208
7.4.1临界同步指令208
7.4.2master指令209
7.4.3barrier指令210
7.4.4single指令210
7.5归纳210
7.6本章小结及成果212
7.7练习213
参考文献214
……
第8章MPI的基础215
第9章并行算法245
第10章库265
第11章操作系统294
第12章可视化308
第13章性能监控326
第14章调试360
第15章加速器架构386
第16章OpenACC的基础412
第17章大容量存储器434
第18章文件系统468
第19章MapReduce495
第20章检查点技术505
第21章下一步和未来发展517
附录AC语言的基础532
附录BLinux的基础547