深度学习及加速技术 入门与实践

本书紧密围绕深度学习及加速技术的基础理论与应用案例展开叙述，实现了深度学习算法设计与硬件加速技术的有机统一，是一本基础理论与实践案例相结合的实用图书。其具体内容涉及人工智能基本概念，神经网络数学基础、神经网络基本结构与学习策略、反向传播算法数学原理与训练机制等神经网络基础理论，以及一些高级主题和实践。本书可作为从事人工智能领域算法研究、架构设计与应用实现等工作的科研人员、工程师以及高等院校师生的参考书籍。

前言
理论篇
第1章 人工智能简介 2
1.1 人工智能概念 2
1.1.1 人工智能定义 2
1.1.2 人工智能发展历程 3
1.2 人工智能与深度学习 4
1.2.1 人工智能与深度学习之间的关系 4
1.2.2 图灵机与丘奇-图灵论题 5
1.3 人工智能发展阶段 6
1.3.1 人工智能1.0——知识+算法+算力 6
1.3.2 人工智能2.0——数据+算法+算力 7
1.3.3 人工智能3.0——知识+数据+算法+算力 7
1.3.4 人工智能4.0——存算一体化 8
1.4 人工智能应用 9
1.4.1 工业零部件尺寸测量与缺陷检测 9
1.4.2 目标检测与跟踪 9
1.4.3 人脸比对与识别 10
1.4.4 三维影像重构 10
第2章 神经网络数学基础 12
2.1 线性向量空间 12
2.2 内积 14
2.3 线性变换与矩阵表示 15
2.4 梯度 17
第3章 神经网络与学习规则 20
3.1 神经元模型与网络结构 20
3.1.1 神经元模型 20
3.1.2 神经网络结构 22
3.2 感知机学习 24
3.2.1 感知机定义及结构 24
3.2.2 感知机学习规则 25
3.3 Hebb学习 28
3.3.1 无监督Hebb学习 28
3.3.2 有监督Hebb学习 29
3.4 性能学习 30
3.4.1 性能指数 30
3.4.2 梯度下降法 31
3.4.3 随机梯度下降法 32
第4章 反向传播 33
4.1 LMS算法 33
4.2 反向传播算法 35
4.2.1 性能指数 36
4.2.2 链式法则 36
4.2.3 反向传播计算敏感性 38
4.2.4 反向传播算法总结 39
4.3 反向传播算法变形 39
4.3.1 批数据训练法 40
4.3.2 动量训练法 40
4.3.3 标准数值优化技术 42
4.4 反向传播算法实例分析 42
第5章 卷积神经网络 45
5.1 卷积神经网络基础 45
5.1.1 全连接神经网络与卷积神经网络 45
5.1.2 卷积神经网络组成结构 46
5.1.3 卷积神经网络进化史 50
5.2 LeNet 50
5.2.1 LeNet结构 51
5.2.2 LeNet特点 52
5.3 AlexNet 52
5.3.1 AlexNet结构 52
5.3.2 AlexNet特点 54
5.4 VGGNet 54
5.4.1 VGG16结构 55
5.4.2 VGG16特点 57
5.5 GoogLeNet 57
5.5.1 Inception结构 57
5.5.2 GoogLeNet结构——基于Inception V1模块 59
5.5.3 GoogLeNet特点 62
5.6 ResNet 62
5.6.1 ResNet残差块结构 63
5.6.2 ResNet结构 63
5.6.3 ResNet特点 66
第6章 目标检测与识别 67
6.1 R-CNN 67
6.1.1 基于SS方法的候选区域选择 68
6.1.2 候选区域预处理 68
6.1.3 CNN特征提取 69
6.1.4 SVM目标分类 69
6.1.5 Bounding box回归 70
6.2 Fast R-CNN 70
6.2.1 基于SS方法的候选区域生成 71
6.2.2 CNN分类与回归 71
6.2.3 Fast R-CNN目标检测算法特点 72
6.3 Faster R-CNN 73
6.3.1 CNN特征提取 73
6.3.2 RPN候选框生成 74
6.3.3 CNN分类与回归 74
6.3.4 Faster R-CNN目标检测算法特点 75
6.4 YOLO 75
6.4.1 YOLOv1 75
6.4.2 YOLOv2 77
6.4.3 YOLOv3 80
第7章 深度学习优化技术 83
7.1 梯度消失 83
7.2 过拟合 85
7.2.1 增加训练数据集 85
7.2.2 regularization 86
7.2.3 dropout技术 88
7.3 初始值与学习速度 89
7.3.1 初始值选择规则 89
7.3.2 可变的学习速度 91
7.4 损失函数 92
7.4.1 均方误差损失函数 92
7.4.2 cross-entropy损失函数 93
7.4.3 log-likelyhood损失函数 95
第8章 深度学习加速技术 96
8.1 软件模型优化技术 96
8.1.1 网络模型优化 96
8.1.2 计算精度降低 97
8.1.3 网络剪枝技术 97
8.2 GPU加速技术 98
8.3 TPU加速技术 100
8.4 FPGA加速技术 102
8.4.1 全连接神经网络加速 102
8.4.2 卷积神经网络加速 103
应用篇
第9章 基于OpenCL的FPGA异构并行计算技术 106
9.1 OpenCL技术基础与环境搭建 106
9.1.1 OpenCL技术基础 106
9.1.2 OpenCL环境搭建 107
9.2 OpenCL异构并行计算架构 115
9.2.1 平台模型 116
9.2.2 执行模型 116
9.2.3 内存模型 117
9.3 OpenCL C语言基本语法与程序设计 118
9.3.1 基本语法与关键字 118
9.3.2 数据类型 119
9.3.3 维度与工作项 122
9.3.4 其他注意事项 123
9.4 基于OpenCL的FPGA异构并行计算实现方法 123
9.4.1 主程序设计 123
9.4.2 内核程序设计 139
第10章 基于OpenCL的FPGA异构并行计算应用案例 140
10.1 整体描述 140
……