昇腾AI处理器应用与开发实践

本书围绕昇腾AI处理器开发应用实践目标，不仅系统性地讲述全栈AI 计算技术体系，还深入浅出地介绍工程化的开发方法与技术。 本书首先介绍基础知识，包括人工智能基础、深度学习技术、智能计算技术等；其次介绍AI 处理器基础知识，包括神经网络加速原理、深度学习芯片架构、深度学习软件栈、全栈AI计算技术体系等；再次介绍昇腾AI处理器软硬件架构，包括达芬奇架构、昇腾310/910处理器架构、昇腾开发软件栈与工具链等；最后介绍昇腾AI 处理器开发流程及编程方法。此外，本书还详细介绍昇腾AI 开发实践案例，包括开发环境部署、基础模型开发案例、模型进阶开发探索、辅助工具应用实践等。本书提供配套资源，包括工程示例、源代码、平台配置信息等，旨在为读者提供体系化的实践训练，让读者能够学以致用，快速形成全栈AI开发的系统能力。 本书可作为高等院校计算机、人工智能、云计算、大数据等相关专业的教材，也可作为ICT培训机构智能计算方向的教材，还可作为人工智能领域从业人员的参考书。

杨建磊，教授、博士生导师、国家级青年人才，现任职于北京航空航天大学计算机学院。博士毕业于清华大学计算机系，曾在美国匹兹堡大学从事博士后研究。主要研究方向为计算机体系机构、集成电路设计、智能芯片与系统等。主持国家级和省部级科研项目10余项，在计算机与集成电路领域的高水平学术会议与期刊上发表论文100余篇，获得国际学术会议竞赛奖项2次、国际学术会议优秀论文奖或提名奖4次。主讲“计算机组成”“计算机系统基础”“智能计算体系结构”“深度学习系统”等课程，入选“教育部产学合作协同育人项目优秀案例”“教育部产学合作协同育人项目十周年典型案例”，获得“教育部产学合作协同育人项目”华为优秀成果奖、“北京航空航天大学优秀教学成果”一等奖。连续8年被评为“龙芯杯全国大学生计算机系统能力培养大赛”优秀指导教师，2次被评为“北京市普通高校优秀本科毕业设计（论文）优秀指导教师”，指导本科生成功设计并流片3款CPU处理器芯片。

第 1章 引言 1 1.1　人工智能基础 1 1.1.1 人工智能概述 1 1.1.2 人工智能发展简史 2 1.1.3 人工智能的主要方向 6 1.2 深度学习简介 7 1.2.1 深度学习基本原理 8 1.2.2 深度学习典型模型 10 1.2.3 深度学习主要应用 16 1.3 人工智能计算概述 17 1.3.1 人工智能计算需求 17 1.3.2 人工智能计算技术特征 18 1.3.3 人工智能计算系统发展趋势 19 参考文献 20 第 2章 AI处理器基础 23 2.1　神经网络加速原理 23 2.1.1 通用计算芯片架构的局限性 23 2.1.2 专用计算芯片架构潜力 25 2.1.3 神经网络计算加速技术 27 2.2 深度学习芯片 29 2.2.1 通用计算芯片 29 2.2.2 专用计算芯片 34 2.2.3 颠覆性计算芯片 37 2.3 深度学习软件栈 40 2.3.1 深度学习模型框架 40 2.3.2 深度学习编译框架 44 2.3.3 深度学习模型部署优化框架 46 2.4 全栈AI计算技术体系 50 2.4.1 软硬件协同设计思想 50 2.4.2 深度学习系统设计与优化方法 52 2.4.3 典型驱动范例：昇腾AI全栈技术方案 53 参考文献 55 第3章 昇腾AI处理器硬件架构 57 3.1　硬件架构概述 57 3.2 达芬奇架构 58 3.2.1 AI Core整体架构 59 3.2.2 计算单元 60 3.2.3 存储系统 63 3.2.4 控制单元 66 3.2.5 指令系统 68 3.3 昇腾AI处理器逻辑架构 70 3.3.1 昇腾310处理器逻辑架构 70 3.3.2 昇腾910处理器逻辑架构 72 参考文献 73 第4章 昇腾AI处理器软件架构 75 4.1 软件框架概述 75 4.2 软件工具链 77 4.2.1 MindStudio开发环境 77 4.2.2 昇腾计算语言 79 4.2.3 昇腾张量编译器 81 4.2.4 算子生成与优化器 82 4.2.5 运行管理与任务调度器 84 参考文献 88 第5章 昇腾AI处理器开发流程 89 5.1 昇腾AI开发平台介绍 89 5.2 昇腾AI推理开发流程 91 5.2.1 工具与环境部署 92 5.2.2 基于MindX SDK的推理开发流程 94 5.2.3 基于AscendCL的推理开发流程 98 参考文献 99 第6章 昇腾AI处理器编程方法 101 6.1 昇腾编程模型与语言库 101 6.1.1 AscendCL功能架构 101 6.1.2 AscendCL API 102 6.1.3 AscendCL应用扩展 104 6.1.4 AscendCL示例：以模型推理流程为例 105 6.2 张量编译器（ATC） 114 6.2.1 ATC内部原理 114 6.2.2 ATC功能介绍 115 6.2.3 ATC应用示例 119 6.3 张量优化与算子开发 121 6.3.1 算子模型定义 123 6.3.2 自定义算子开发与优化 128 6.3.3 算子开发编程方式 129 6.4 模型部署与推理优化 136 6.4.1 模型迁移流程 136 6.4.2 自动部署与模型调优 137 6.5 功能辅助增强组件 138 6.5.1 模型预处理 138 6.5.2 数据预处理 143 参考文献 144 第7章 实践案例 145 7.1 开发环境部署 145 7.1.1 实验软硬件准备 145 7.1.2 开发环境部署流程 147 7.1.3 运行环境部署流程 152 7.1.4 模型训练流程 157 7.1.5 模型推理流程 159 7.2 基础模型开发实例 165 7.2.1 图像分类应用实例：C++/Python实现 165 7.2.2 目标检测应用实例：C++/Python实现 179 7.2.3 语音处理应用实例：C++/Python实现 185 7.2.4 模型迁移实例：以ONNX/PyTorch为例 190 7.2.5 模型轻量化开发实践 198 7.3 模型进阶开发探索 204 7.3.1 自定义算子实例：以BatchNorm算子为例 204 7.3.2 算子开发：以Transformer为例 235 7.3.3 算子优化技术：以算子融合为例 238 7.4 辅助工具应用实践 243 7.4.1 精度比对工具 243 7.4.2 性能分析工具 245 7.4.3 专家系统工具 246 参考文献 248