通用图形处理器设计(GPGPU编程模型与架构原理)/集成电路科学与技术丛书

本书是一部系统介绍通 用图形处理器（GPGPU）编 程模型与体系结构的书籍。 全书共7章：第1章GPGPU 概述，着重介绍GPGPU与 CPU体系结构上的差异和现 代GPGPU产品的特点；第2 章GPGPU编程模型，介绍 GPGPU编程模型的核心概念 ，勾勒出GPGPU异构计算的 设计要点；第3章GPGPU控 制核心架构，对GPGPU指令 流水线和关键控制部件的原 理进行分析和介绍，并深入 探讨GPGPU架构的瓶颈问题 和优化方法；第4章GPGPU 存储架构，对GPGPU多样的 层次化存储器进行介绍，重 点探讨片上存储器的设计和 优化方法；第5章GPGPU运 算单元架构，介绍数值表示 和通用运算核心的设计；第 6章GPGPU张量核心架构， 对专门为人工智能加速而设 计的张量核心架构展开分析 与介绍，揭示GPGPU对深度 学习进行硬件加速的基本原 理；第7章总结与展望，对 全书内容进行总结，并对 GPGPU发展进行展望。 本书适合作为广大高校 计算机专业、微电子专业、 电子科学与技术专业本科生 和研究生的课程教材，也可 以作为GPGPU体系结构研究 人员、芯片设计人员和应用 开发人员的参考用书。

景乃锋，上海交通大学电子信息学院副研究员。博士毕业于上海交通大学。研究方向包括：高性能及高可靠性计算机系统与结构，数字电路及计算机辅助设计等。

第1章 GPGPU概述 1.1 GPGPU与并行计算机 1.1.1 并行体系结构 1.1.2 GPU与CPU体系结构对比 1.2 GPGPU发展概述 1.2.1 GPU 1.2.2 从GPU到GPGPU 1.3 现代GPGPU产品 1.3.1 NVIDIA GPGPU 1.3.2 AMD GPGPU 1.3.3 Intel GPGPU 1.3.4 其他GPU 参考文献 第2章 GPGPU编程模型 2.1 计算模型 2.1.1 数据并行和线程 2.1.2 主机-设备端和内核函数 2.2 线程模型 2.2.1 线程组织与数据索引 2.2.2 线程分配与执行 2.2.3 线程模型小结 2.3 存储模型 2.3.1 多样的存储器类型 2.3.2 存储资源与线程并行度 2.4 线程同步与通信模型 2.4.1 同步机制 2.4.2 协作组 2.4.3 流与事件 2.4.4 原子操作 2.5 CUDA指令集概述 2.5.1 中间指令PTX 2.5.2 机器指令SASS 参考文献 第3章 GPGPU控制核心架构 3.1 GPGPU架构概述 3.1.1 CPU-GPGPU异构计算系统 3.1.2 GPGPU架构 3.1.3 扩展讨论：架构特点和局限性 3.2 GPGPU指令流水线 3.2.1 前段：取指与译码 3.2.2 中段：调度与发射 3.2.3 后段：执行与写回 3.2.4 扩展讨论：线程束指令流水线 3.3 线程分支 3.3.1 谓词寄存器 3.3.2 SIMT堆栈 3.3.3 分支屏障 3.3.4 扩展讨论：更高效的线程分支执行 3.4 线程束调度 3.4.1 线程束并行、调度与发射 3.4.2 基本的调度策略 3.4.3 扩展讨论：线程束调度策略优化 3.5 记分牌 3.5.1 数据相关性 3.5.2 GPGPU中的记分牌 3.5.3 扩展讨论：记分牌设计优化 3.6 线程块分配与调度 3.6.1 线程块并行、分配与调度 3.6.2 基本的线程块分配与调度策略 3.6.3 扩展讨论：线程块分配与调度策略优化 参考文献 第4章 GPGPU存储架构 4.1 GPGPU存储系统概述 4.1.1 CPU的层次化存储 4.1.2 GPGPU的存储层次 4.2 寄存器文件 4.2.1 并行多板块结构 4.2.2 板块冲突和操作数收集器 4.2.3 操作数并行访问时的相关性冒险 4.2.4 扩展讨论：寄存器文件的优化设计 4.3 可编程多处理器内的存储系统 4.3.1 数据通路概述 4.3.2 共享存储器访问 4.3.3 L1高速缓存访问 4.3.4 纹理缓存 4.3.5 扩展讨论：片上存储系统的优化设计 4.4 可编程多处理器外的存储系统 4.4.1 存储分区单元 4.4.2 L2缓存 4.4.3 帧缓存单元 4.4.4 全局存储器 4.5 存储架构的优化设计 4.5.1 片上存储资源融合 4.5.2 技术对比与小结 参考文献 第5章 GPGPU运算单元架构 5.1 数值的表示 5.1.1 整型数据 5.1.2 浮点数据 5.1.3 扩展讨论：多样的浮点数据表示 5.2 GPGPU的运算单元 5.2.1 整型运算单元 5.2.2 浮点运算单元 5.2.3 特殊功能单元 5.2.4 张量核心单元 5.3 GPGPU的运算单元架构 5.3.1 运算单元的组织和峰值算力 5.3.2 实际的指令吞吐率 5.3.3 扩展讨论：脉动阵列结构 参考文献 第6章 GPGPU张量核心架构 6.1 深度神经网络的计算 6.1.1 深度神经网络的计算特征 6.1.2 卷积运算方式 6.2 张量核心架构 6.2.1 张量核心架构特征概述 6.2.2 Volta架构中的张量核心 6.2.3 张量核心的发展 6.2.4 扩展讨论：张量核心对稀疏的支持 6.3 神经网络计算的软件支持 6.4 深度学习评价基准——MLPerf 参考文献 第7章 总结与展望 7.1 本书内容总结 7.2 GPGPU发展展望