端侧AI模型部署入门、原理和进阶实战

本书系统地讲解各种模型在端侧平台(含嵌入式设备、移动端设备)中的工程化实践，重点讨论模型优化(包括剪枝、蒸馏和量化等)、模型轻量化设计、高性能计算、Neon编程、ARM处理器OpenCV编程、基于TFLite的端侧模型部署和性能优化、NPU和GPU推理加速等。通过本书，读者可以理解端侧AI模型部署内容，包括算法及算子优化和对模型的精度、性能的评估和调优。本书能够帮助读者朋友找到正确的学习和研究方向，以及正确的工程方法。
本书可作为高等院校计算机应用、人工智能、智能感知、元宇宙工程、机器人工程、信号处理、图像处理、嵌入式开发、电子信息工程、软件工程、集成电路设计与集成系统、微电子科学与工程等专业及学科的本科生及研究生教材，也可以作为相关领域的科研和工程技术人员的参考书籍。

第1章 端侧AI概述
1.1 什么是端侧AI
1.2 端侧模型性能优化
1.3 端侧模型低功耗设计
1.4 端侧模型加固
第2章 端侧AI芯片
2.1 中央处理器体系结构
2.2 指令集架构
2.3 处理器架构及异构计算芯片
2.4 端侧AI芯片
2.4.1 ARM
2.4.2 DSP
2.4.3 GPU
2.4.4 FPGA
2.4.5 NPU
2.4.6 类脑芯片
第3章 Linux开发环境及工具介绍
3.1 Shell命令解释器和脚本
3.2 环境变量配置
3.3 编译器GCC
3.4 CMake项目构建、Make编译
3.5 LLVM和Clang
3.6 AndroidSDK和NDK配置
3.7 Clang/Clang++编译C/C++/Neon程序和终端运行
3.8 GDB调试
3.9 ADB工具
第4章 算子和图优化
4.1 算法层优化
4.1.1 Img2col+GEMM优化卷积
4.1.2 Winograd优化卷积
4.2 硬件层优化
4.2.1 SIMD指令向量化
4.2.2 多核CPU中OpenMP编程
4.2.3 GPU并行计算
4.2.4 Cache优化
4.3 图优化
4.4 AI编译器
第5章 模型压缩
5.1 轻量化网络模型设计
5.1.1 下采样
5.1.2 上采样
5.1.3 全局池化
5.1.4 分组卷积
5.1.5 全局加权池化
5.1.61 ×1卷积
5.1.7 深度卷积
5.1.8 逐点卷积
5.1.9 异构卷积
5.1.10 深度可分离卷积
5.1.11 空洞卷积
5.1.12 跳跃连接
5.1.13 Flatten
5.1.14 BatchNormalization
5.1.15 Dropout
5.1.16 全连接层
5.1.17 SENet
5.1.18 MobileNet
5.1.19 注意力机制
5.1.20 新算子和模型的探索
5.2 剪枝
5.2.1 结构化剪枝
5.2.2 非结构化剪枝
5.3 网络架构搜索
5.4 低秩分解
5.5 知识蒸馏
5.6 量化
5.6.1 量化原理
5.6.2 对称量化/非对称量化
5.6.3 伪量化节点
5.6.4 训练后量化/量化感知训练
5.6.5 量化提升策略
5.6.6 量化感知训练框架介绍
第6章 端侧模型部署框架
6.1 ARMComputeLibray/ArmNN
6.2 NNAPI
6.3 TensorRT
6.4 TNN/NCNN
6.5 OpenVINO
6.6 TFLite
6.7 CoreML
6.8 RKNNSDK
6.9 SNPE/QNN
6.10 MNN
6.11 MediaPipe
6.12 NeuroPilot
第7章 ARM处理器OpenCV编程
7.1 ARM平台移植OpenCV库
7.2 OpenCV库编译错误及解决方法
7.3 ARM平台C/C++图像处理实例
7.3.1 图像浅拷贝和深拷贝
7.3.2 颜色空间转换
7.3.3 图像二值化
7.3.4 图像翻转/旋转/缩放/裁剪
7.3.5 二维码检测和解码
第8章 Neon指令集加速算法和算子底层指令加速
8.1 Neon寄存器和数据类型
8.2 Neon指令类型
8.3 Neon编程方式和内联函数
8.3.1 Neon汇编指令
8.3.2 编译器自动向量化
8.3.3 Neon第三方库
8.3.4 Neon内联函数
8.4 Neon常用内联函数介绍
8.4.1 类型转换指令
8.4.2 加载存储指令
8.4.3 算术运算指令
8.4.4 数据处理指令
8.4.5 向量乘法指令
8.4.6 逻辑和比较运算指令
8.4.7 浮点指令
8.4.8 移位指令
8.4.9 置换指令
8.4.10 其他指令
8.5 Neon编程优化算法实例
8.5.1 RGB转Gray颜色空间
8.5.2 RGB内存空间解交织和交织
8.5.3 矩阵乘法性能优化
8.6 NEON2SSE介绍
第9章 基于TFLite的端侧模型部署和性能优化
9.1 TFLite委托
9.2 TFLite交叉编译和部署——基于ARM平台
9.2.1 用CMake工具构建TFLite
9.2.2 XNNPACK编译问题定位和解决
9.3 YOLOv8模型端侧部署——低空无人机巡检
9.3.1 TFLiteFlatBuffer模型文件转换和验证
9.3.2 ARM平台模型部署——C语言版
9.3.3 部署性能优化
第10章 NPU推理加速——无人机采茶机器人研发实践
10.1 基于ONNX格式模型转换和验证
10.2 模型量化误差评估
10.3 NPU推理性能和内存使用情况评估
第11章 端侧GPU硬件加速模型推理——智能水下摄像机器人研发实践
11.1 水下图像增强模型——Transformer模型端侧部署评估
11.1.1 水下图像增强模型网络结构和可视化分析
11.1.2 基于QNN推理框架GPU核部署评估
11.2 水下目标检测模型——YOLOv8模型端侧部署评估
第12章 安全智能——以隐私OCR为实例
12.1 OCR的四个矛盾
12.2 OCR模块
12.2.1 识别主体区域检测
12.2.2 文本定位
12.2.3 字符识别
12.3 隐私OCR
12.3.1 隐私OCR流程
12.3.2 端侧敏感信息智能脱敏方法
参考文献
后记