深度学习之模型优化：核心算法与案例实践

本书由浅入深、系统性地介绍了深度学习模型压缩与优化的核心技术。本书共9 章，主要内容有：深度学习模型性能评估、模型可视化、轻量级模型设计、模型剪枝、模型量化、迁移学习与知识蒸馏、自动化模型设计、模型优化与部署工具。本书理论知识体系完备，同时提供了大量实例，供读者实战演练。

第1章 引言 1 1.1 人工智能时代背景 1 1.2 数据处理 2 1.2.1 大数据时代背景 2 1.2.2 数据获取 3 1.2.3 数据清洗与整理 5 1.3 算法基础 7 1.3.1 卷积的概念 7 1.3.2 CNN基本概念 8 1.4 计算芯片 12 1.4.1 GPU 12 1.4.2 ARM 15 1.5 深度学习框架 16 1.5.1 Caffe 16 1.5.2 TensorFlow 17 1.5.3 PyTorch 17 第2章 模型性能评估 19 2.1 性能指标 19 2.1.1 基准模型 19 2.1.2 参数量 20 2.1.3 计算量与内存访问代价 21 2.1.4 计算速度 22 2.1.5 并行化程度 23 2.1.6 能耗 24 2.2 学术与产业竞赛 24 第3章 模型可视化 26 3.1 模型可视化基础 26 3.1.1 为什么要研究模型可视化 26 3.1.2 模型可视化的研究方向 27 3.2 模型结构可视化 27 3.2.1 Netscope可视化方法 27 3.2.2 TensorBoard模型结构可视化 33 3.2.3 Graphiz可视化工具 35 3.2.4 Netron可视化工具 38 3.3 模型参数与特征可视化 44 3.3.1 参数可视化 44 3.3.2 激活值可视化 46 3.3.3 工具 46 3.4 输入区域重要性可视化 48 3.4.1 基本原理 48 3.4.2 基于反向传播的输入可视化 49 3.4.3 类激活映射可视化 50 3.5 输入激活模式可视化 52 3.5.1 概述 53 3.5.2 梯度计算法 53 3.5.3 反卷积法 56 3.5.4 网络反转法 58 3.5.5 小结 58 3.6 模型可视化分析实践 59 3.6.1 基于梯度计算法的可视化 59 3.6.2 反卷积可视化 62 3.6.3 CAM可视化 68 3.6.4 小结 71 第4章 轻量级模型设计 72 4.1 卷积核的使用和设计 72 4.1.1 全连接层的压缩 72 4.1.2 小卷积核的应用 73 4.2 卷积拆分与分组 77 4.2.1 卷积拆分操作 78 4.2.2 分组卷积Xception与MobileNet 79 4.2.3 ShuffleNet 80 4.2.4 级连通道分组网络 81 4.2.5 多分辨率卷积核通道分组网络 82 4.2.6 多尺度通道分组网络 83 4.2.7 多精度分组网络 84 4.3 特征与参数重用设计 85 4.3.1 特征重用 85 4.3.2 参数重用 86 4.4 动态自适应模型设计 87 4.4.1 什么是动态模型 87 4.4.2 基于提前终止与模块丢弃原理的动态模型 89 4.4.3 基于注意力感知的动态模型 93 4.5 卷积乘法操作优化和设计 94 4.5.1 移位网络 94 4.5.2 加法网络 98 4.5.3 移位网络与加法网络结合 99 4.6 重参数化技巧 99 4.6.1 网络层合并 100 4.6.2 分支合并 101 4.7 新颖算子设计 102 4.8 低秩稀疏化设计 104 第5章 模型剪枝 105 5.1 模型剪枝基础 105 5.1.1 什么是模型剪枝 105 5.1.2 模型剪枝的粒度 106 5.2 模型稀疏学习 107 5.2.1 权重正则化约束 107 5.2.2 基于网络结构的设计 109 5.3 非结构化剪枝技术 110 5.3.1 基于优化目标的方法 110 5.3.2 基于权重幅度的方法 112 5.3.3 向量剪枝技术 113 5.4 结构化剪枝技术 114 5.4.1 基于重要性因子的剪枝算法 114 5.4.2 基于输出重建误差的通道剪枝算法 116 5.4.3 基于优化目标敏感性的剪枝算法 117 5.4.4 卷积核剪枝和通道剪枝的差异 119 5.5 模型剪枝的一些问题 119 5.5.1 剪枝的必要性 119 5.5.2 训练策略 119 5.5.3 整个网络同时剪枝 120 5.5.4 运行时剪枝 121 5.6 图像分类模型结构化剪枝实战 122 5.6.1 模型定义与数据集 122 5.6.2 模型训练 124 5.6.3 模型剪枝 127 5.6.4 残差网络 130 5.6.5 小结 134 第6章 模型量化 135 6.1 模型量化基础 135 6.1.1 什么是模型量化 135 6.1.2 量化的优势 135 6.2 二值量化算法 137 6.2.1 基于阈值映射函数的方法 137 6.2.2 基于重建误差的方法 138 6.2.3 从二值量化模型到三值量化模型 140 6.2.4 二值量化的主要问题 140 6.3 8bit量化 141 6.3.1 基于变换函数的非对称量化 142 6.3.2 基于信息损失的对称量化 143 6.4 混合精度量化算法 145 6.4.1 一般混合精度量化算法 145 6.4.2 自动位宽学习 146 6.5 半精度浮点数训练算法 147 6.6 模型量化的一些其他问题 148 6.6.1 非均匀量化 148 6.6.2 更稳定地训练量化模型 149 6.6.3 量化训练与离线量化的比较 151 6.7 基于TensorRT框架的模型量化推理实践 152 6.7.1 项目简介 152 6.7.2 量化算法实现 153 6.7.3 TensorRT模型量化与推理 158 第7章 迁移学习与知识蒸馏 167 7.1 迁移学习与知识蒸馏基础 167 7.1.1 迁移学习的基本概念 167 7.1.2 知识蒸馏的基本概念 168 7.2 基于优化目标驱动的知识蒸馏 168 7.2.1 预训练大模型框架 169 7.2.2 大模型与小模型共同学习框架 171 7.2.3 小结 172 7.3 基于特征匹配的知识蒸馏 172 7.3.1 基本框架 172 7.3.2 注意力机制的使用 173 7.4 自蒸馏框架 174 7.4.1 深度协同学习 174 7.4.2 自监督学习 174 7.4.3 自进化学习 175 7.5 知识蒸馏的一些问题 176 7.5.1 教师模型是否越强越好 176 7.5.2 学生模型与教师模型的相互学习 176 7.6 基于经典知识蒸馏的图像分类实战 177 7.6.1 基准模型定义 177 7.6.2 基准模型训练 179 7.6.3 知识蒸馏学习 180 7.6.4 小结 183 第8章 自动化模型设计 184 8.1 自动化机器学习基础 184 8.1.1 什么是AutoML 184 8.1.2 AutoML在数据工程中的应用 185 8.1.3 AutoML在超参数优化中的典型应用 186 8.1.4 现有的AutoML系统 187 8.2 神经网络结构搜索基础 188 8.2.1 什么是NAS 189 8.2.2 NAS的搜索空间 190 8.2.3 NAS的搜索策略 192 8.2.4 NAS的评估 192 8.3 基于栅格搜索的NAS 193 8.3.1 网络基础参数搜索 193 8.3.2 网络拓扑结构搜索 194 8.4 基于强化学习的NAS 194 8.4.1 强化学习基础 195 8.4.2 基本方法 197 8.4.3 NASNet 199 8.4.4 MNASNet 201 8.5 基于进化算法的NAS 203 8.5.1 进化算法简介 203 8.5.2 Genetic CNN算法 204 8.5.3 与NASNet的结合 206 8.6 可微分NAS 207 8.7 NAS与其他模型压缩方法结合 209 8.7.1 自动化模型剪枝 209 8.7.2 自动化模型量化 210 8.7.3 自动化模型蒸馏 211 8.8 当前NAS的一些问题 212 第9章 模型优化与部署工具 213 9.1 模型优化工具 213 9.1.1 TensorFlow和PocketFlow框架 213 9.1.2 PaddlePaddle框架 214 9.1.3 PyTorch和Distiller框架 215 9.1.4 NNI框架 216 9.1.5 小结 216 9.2 模型部署工具 216 9.2.1 模型部署基础 217 9.2.2 ONNX标准 217 9.2.3 NVIDIA GPU推理框架TensorRT 218 9.2.4 特定框架专用模型推理框架 220 9.2.5 通用移动端模型推理框架 221 9.2.6 小结 221 9.3 基于NCNN的模型优化部署实战 222 9.3.1 软硬件平台介绍 222 9.3.2 模型格式转换 223 9.3.3 模型部署测试 224 9.3.4 小结 230