高性能计算机体系结构

本书主要介绍了高性能计算机体系结构的基础知识和核心原理。其中第1、2章介绍了高性能计算机的基本概念、性能评价、应用领域及基准评测集；第3章介绍了高性能计算机体系结构的分类和代表性体系结构；第4～6章从并行计算技术、存储层次以及互连网络等方面介绍了高性能计算机的关键技术；第7章介绍了典型的异构计算体系结构；第8章讲述了应用于特定领域的专用体系结构。本书以计算机系统思维能力培养为主线，使得读者能够初步掌握高性能计算机的设计与分析方法，熟悉高性能计算机的体系架构，了解性能评测基本手段和方法。

前言
第1章高性能计算机概述1
1.1基本概念1
1.1.1计算机性能1
1.1.2高性能计算机的定义3
1.1.3并行计算4
1.2典型高性能计算机的结构剖析6
1.3高性能计算机的性能评价8
1.3.1峰值性能8
1.3.2加速比和效率9
1.3.3Amdahl定律9
1.3.4Gustafson定律12
1.3.5可扩展性13
1.4高性能计算机的应用领域14
1.4.1尺度超大类问题14
1.4.2尺度超小类问题15
1.4.3时变超快类问题15
1.4.4时变超慢类问题15
1.4.5过程超危险类问题15
1.4.6过程超昂贵类问题16
1.4.7新兴领域应用问题16
1.5高性能计算机的演进和发展趋势17
1.5.1高性能计算机的发展历史17
1.5.2国产高性能计算机的发展历程22
1.5.3高性能计算机的未来发展趋势26
1.6本章小结26
课后习题27
第2章基准评测集29
2.1基准评测介绍29
2.2计算性能评测集30
2.2.1LINPACK30
2.2.2HPCG33
2.2.3Graph50035
2.3I/O性能评测集38
2.3.1MDTest38
2.3.2IOR39
2.3.3IO50039
2.4网络性能评测集.40
2.4.1IMB40
2.4.2OSUBenchmark41
2.5能耗评测集42
2.6应用评测集43
2.6.1Miniapplication43
2.6.2戈登·贝尔奖44
2.7本章小结44
课后习题45
第3章高性能计算机的体系结构分类46
3.1Flynn分类法46
3.1.1SISD47
3.1.2SIMD47
3.1.3MISD49
3.1.4MIMD50
3.1.5SIMT50
3.1.6计算机体系结构分类图谱51
3.2共享内存系统52
3.2.1集中式共享内存系统52
3.2.2分布式共享内存系统54
3.3分布式内存系统55
3.3.1大规模并行处理系统55
3.3.2工作站集群系统56
3.4高性能计算机体系结构中的重要技术58
3.4.1缓存一致性58
3.4.2内存一致性60
3.4.3同步61
3.4.4互连网络61
3.5非冯·诺依曼体系结构计算机62
3.5.1冯·诺依曼体系结构的回顾62
3.5.2非冯·诺依曼体系结构简介63
3.6本章小结64
课后习题65
第4章高性能处理器的并行计算技术66
4.1指令级并行66
4.1.1流水线技术66
4.1.2指令相关性70
4.1.3流水线冒险71
4.1.4处理冒险的技术72
4.1.5精准异常的处理73
4.1.6分支预测73
4.1.7ILP增强技术74
4.2线程级并行76
4.2.1粗粒度多线程并行77
4.2.2细粒度多线程并行78
4.2.3同步多线程并行79
4.3数据级并行79
4.3.1SIMD指令集扩展80
4.3.2图形处理器84
4.4本章小结87
课后习题.87
第5章高性能计算机的存储层次89
5.1存储层次结构89
5.2缓存一致性90
5.2.1基于侦听的缓存一致性协议92
5.2.2基于目录的缓存一致性协议95
5.2.3一致性的伪共享现象.97
5.3内存一致性问题.99
5.3.1顺序一致性100
5.3.2松弛一致性101
5.4内存屏障方法104
5.4.1编译器内存同步104
5.4.2CPU内存同步104
5.4.3无锁同步106
5.5本章小结107
课后习题107
第6章高性能计算机的互连网络108
6.1基本定义和评价指标108
6.2拓扑结构110
6.2.1静态网络111
6.2.2动态网络113
6.3流控机制117
6.3.1基于消息的流量控制118
6.3.2基于包的流量控制119
6.3.3基于片的流量控制120
6.3.4基于信用量的流量控制121
6.4路由算法122
6.4.1路由死锁问题122
6.4.2路由算法的分类123
6.5InfiniBand高性能互连网络125
6.5.1InfiniBand层次结构126
6.5.2InfiniBand网络架构128
6.6RDMA协议129
6.6.1常见的RDMA技术130
6.6.2RDMA与传统协议对比131
6.7本章小结132
课后习题132
第7章异构计算体系结构133
7.1异构计算的基本概念133
7.2CPU+GPU异构计算135
7.2.1CPU与GPU的对比135
7.2.2GPU的架构137
7.2.3CUDA编程模型139
7.2.4CUDA内存模型143
7.2.5CUDA执行模型144
7.3CPU+FPGA异构计算146
7.3.1FPGA的基本架构146
7.3.2OpenCL编程模型147
7.3.3OpenCL内存模型149
7.3.4OpenCL执行模型150
7.4本章小结152
课后习题152
第8章领域专用体系结构153
8.1面向深度神经网络的领域专用体系结构153
8.1.1深度神经网络简介153
8.1.2张量处理单元154
8.1.3神经网络处理单元160
8.1.4神经网络领域专用体系结构未来展望162
8.2面向类脑计算的领域专用体系结构163
8.2.1类脑计算简介164
8.2.2清华大学“天机”类脑体系结构166
8.2.3其他类脑体系结构167
8.3面向图计算的领域专用体系结构168
8.3.1图计算168
8.3.2面向图计算的领域专用体系结构分类170
8.4本章小结172
课后习题173
参考文献174