AI加速器架构设计与实现

这是一本讲解NPU硬件架构设计与技术实现的著作。作者将自己在CPU、GPU和NPU领域15年的软硬件工作经验融会贯通，将四代NPU架构设计经验融为一体，将端侧和云侧NPU架构合二为一，总结并提炼出本书内容。本书主要讨论神经网络硬件层面，尤其是芯片设计层面的内容，主要包含神经网络的分析、神经网络加速器的设计以及具体实现技术。通过阅读本书，读者可以深入了解主流的神经网络结构，掌握如何从零开始设计一个能用、好用的产品级加速器。通过阅读本书，你将：?透彻理解与深度学习相关的机器学习算法及其实现?学会主流图像处理领域神经网络的结构?掌握加速器运算子系统和存储子系统的设计?摸清加速器设计中遇到的具体问题及其解决方法?了解NPU架构需要考虑的控制通路和数据通路

甄建勇资深CPU、GPU、NPU三栖架构师，从事相关软硬件架构与设计工作超过15年。现就职于地平线，担任BPU首席架构师。曾就职于英伟达，担任高级架构师，作为多款CPU、NPU、GPU的核心架构师，参与了Xburst、NVDLA、TensorCore的架构设计工作。熟悉SIMT/RayTracing等模块的架构设计与实现。擅长的领域还包括经济学、法学、心理学以及Linux内核、计算机图形加速和全同态加密。王路业优矽科技联合创始人兼总经理，中国开放指令生态（RISC-V）联盟（CRVA）软件开源工作组副组长。曾就职于ARM安谋科技、Synopsys新思科技、ST意法半导体和中国长城计算机。

CONTENTS目　　录前言第1章　卷积神经网络　11.1　神经网络的结构　21.2　GCN　41.3　网络的基本块　71.4　网络的算子　171.5　网络参数量与运算量　291.6　加速器编程模型　311.7　硬件加速器架构分类　33第2章　运算子系统的设计　352.1　数据流设计　352.2　算力与带宽　382.2.1　算力与输入带宽　382.2.2　算力与输出带宽　412.3　卷积乘法阵列　432.3.1　Conv算法详解　432.3.2　NVDLA的乘法阵列　472.3.3　TPU的乘法阵列　592.3.4　GPU的乘法阵列　662.3.5　华为DaVinci的乘法阵列　742.4　卷积运算顺序的选择　802.5　池化模块的设计　81第3章　存储子系统的设计　863.1　存储子系统概述　863.1.1　存储子系统的组成　863.1.2　内部缓存的设计　893.2　数据格式的定义　973.2.1　特征图的格式　983.2.2　权重的格式　100第4章　架构优化技术　1064.1　运算精度的选择　1064.1.1　dynamic fixed point类型　1094.1.2　bfloat16类型　1104.2　硬件资源的复用　1114.2.1　FC　1124.2.2　de-Conv　1154.2.3　dilate Conv　1234.2.4　group Conv　1234.2.5　3D Conv　1274.2.6　TC Conv　1304.2.7　3D Pool　1324.2.8　Up Sample Pooling　1364.2.9　多个加速器的级联　1364.3　Winograd算法和FFT算法　1384.3.1　Winograd算法解析　1384.3.2　FFT算法解析　1484.4　除法变乘法　1504.5　LUT的使用　1504.6　宏块并行技术　1554.7　减少软件配置时间　1564.8　软件优化技术　1574.9　一些激进的优化技术　158第5章　安全与防护　1605.1　安全技术　1605.2　安全性评估　1625.3　防护　163第6章　神经网络加速器的实现　1656.1　乘法器的设计　1656.1.1　整型乘法器的设计　1666.1.2　浮点运算器的设计　1716.2　数字电路常见基本块的设计　1846.3　时序优化　2036.4　低功耗设计　207第7章　盘点与展望　2117.1　AI加速器盘点　2117.2　Training加速器　2117.3　展望　218后记　220