深度学习应用与实战（全彩）

本书系统介绍了神经网络和深度学习，并结合实际应用场景和综合案例，让读者深入了解深度学习。全书共16章，分为4个部分。第1部分介绍了深度学习基础算法与应用，主要包括神经网络和深度学习的相关概念、多层神经网络的基本原理和具体应用、卷积神经网络的原理及项目案例实现、优化算法与模型管理。第2部分介绍了深度学习进阶算法与应用，主要包括经典的深度卷积神经网络，ResNet、DenseNet和MobileNet，目标检测的基本概念和常见算法，循环神经网络的基本概念和具体应用。第3部分介绍了时空数据模型与应用，主要包括CNN-LSTM混合模型的基本概念和具体应用，多元时间序列神经网络、注意力机制和Transformer的基本结构和具体应用。第4部分介绍了生成对抗网络及其应用，主要包括生成对抗网络的基本概念及其模型的结构和训练过程，使用检测模型、识别模型对车牌进行检测与识别。本书适合对人工智能、机器学习、神经网络和深度学习等感兴趣的读者阅读，也适合作为本科院校和高等职业院校人工智能相关专业的教材。本书可以帮助有一定基础的读者查漏补缺，使其深入理解和掌握与深度学习相关的原理及方法，并能提高其解决实际问题的能力。

韩少云是达内科技（中国）有限公司创始人、总裁/CEO。其麾下的达内时代科技集团是国内知名的互联网-IT教育培训单位，是一站式互联网人才基地，专注IT职业教育人才服务多年，拥有300多家培训中心，帮助学员实现一地学习全国就业。

目 录 第 1 部分 深度学习基础算法与应用 第 1 章 单层神经网络 2 1.1 深度学习的基本概念 2 1.1.1 深度学习的概述 2 1.1.2 神经网络 3 1.2 深度学习框架 5 1.2.1 常见框架介绍 5 1.2.2 张量 6 1.3 单层神经网络的概述 6 1.3.1 回归模型 6 1.3.2 二分类模型 10 1.3.3 多分类模型 13 1.4 单层神经网络实现鸢尾花分类 17 1.4.1 使用 TensorFlow 实现鸢尾花分类 17 1.4.2 使用 PyTorch 实现鸢尾花分类 20 本章总结 22 作业与练习 22 第 2 章 多层神经网络 24 2.1 多层神经网络的概述 24 2.1.1 隐藏层的意义 24 2.1.2 激活函数 25 2.1.3 反向传播 27 2.1.4 异或处理代码实现 28 2.2 梯度下降算法 30 2.2.1 批量梯度下降算法 30 2.2.2 随机梯度下降算法 31 2.2.3 小批量梯度下降算法 31 2.3 正则化处理 31 2.3.1 L1 正则化与 L2 正则化 31 2.3.2 Dropout 正则化 31 2.3.3 提前停止 32 2.3.4 批量标准化 32 2.4 手写数字识别 2.4.1 MNIST 数据集简介 32 2.4.2 使用 TensorFlow 实现MNIST 手写数字分类 33 2.4.3 使用 PyTorch 实现MNIST 手写数字分类 36 本章总结 39 作业与练习 39 第 3 章 卷积神经网络 41 3.1 图像基础原理 41 3.1.1 像素 41 3.1.2 灰度值 42 3.1.3 彩色图像表达 42 3.2 卷积的作用及原理 43 3.2.1 卷积的概述 43 3.2.2 卷积运算的原理 43 3.2.3 卷积运算的方式 44 3.2.4 卷积表达的含义 44 3.2.5 卷积相关术语 45 3.3 卷积神经网络的基本结构 46 3.3.1 卷积神经网络的网络结构 46 3.3.2 卷积层 47 3.3.3 ReLU 层 47 3.3.4 池化层 48 3.3.5 全连接层 49 3.4 基于卷积神经网络实现MNIST 手写数字识别 49 3.4.1 构建卷积神经网络模型 49 3.4.2 使用 TensorFlow 实现卷积神经网络 MNIST手写数字分类 50 3.4.3 使用 PyTorch 实现卷积神经网络 MNIST 手写 数字分类 52 本章总结 55 作业与练习 55 第 4 章 优化算法与模型管理 57 4.1 数据增强 57 4.1.1 数据增强的意义 57 4.1.2 使用 TensorFlow 实现数据增强 58 4.1.3 使用 PyTorch 实现数据增强 59 4.2 梯度下降优化 60 4.2.1 梯度下降优化的必要性 60 4.2.2 Momentum 优化器 60 4.2.3 Adagrad 优化器 60 4.2.4 RMSprop 优化器 61 4.2.5 Adam 优化器 62 4.3 模型的保存与加载 62 4.3.1 TensorFlow 模型保存与加载 62 4.3.2 PyTorch 模型保存与加载 63 4.4 项目案例：车辆识别 64 4.4.1 汽车数据集 65 4.4.2 项目案例实现 65 本章总结 70 作业与练习 70 第 2 部分 深度学习进阶算法与应用 第 5 章 深度卷积神经网络 74 5.1 深度卷积神经网络的概述 74 5.2 AlexNet 75 5.2.1 AlexNet 的网络结构 75 5.2.2 构建 AlexNet 模型 77 5.3 VGG 79 5.3.1 VGG 的网络结构 79 5.3.2 构建 VGG 模型 80 5.4 NiN 81 5.4.1 NiN 的网络结构 81 5.4.2 构建 NiN 模型 83 5.5 GoogLeNet 85 5.5.1 GoogLeNet 的网络结构 85 5.5.2 构建 GoogLeNet 模型 88 5.6 项目案例：车辆多属性识别 90 5.6.1 多属性识别 91 5.6.2 项目案例实现 91 本章总结 100 作业与练习 100 第 6 章 高效的卷积神经网络 102 6.1 ResNet 102 6.1.1 ResNet 的网络结构 102 6.1.2 构建 ResNet 模型 103 6.2 DenseNet 109 6.2.1 DenseNet 的网络结构 110 6.2.2 构建 DenseNet 模型 111 6.3 MobileNet 112 6.3.1 MobileNet 的网络结构 112 6.3.2 构建 MobileNet 模型 113 6.4 项目案例：违规驾驶行为识别 114 本章总结 126 作业与练习 126 第 7 章 目标检测 128 7.1 目标检测的概述 128 7.2 两阶段目标检测 129 7.2.1 R-CNN 129 7.2.2 Fast R-CNN 和Faster R-CNN 130 7.2.3 Mask R-CNN 132 7.3 一阶段目标检测 133 7.3.1 YOLO 系列 133 7.3.2 SSD 137 7.4 项目案例：车辆检测 137 本章总结 144 作业与练习 144 第 8 章 循环神经网络 145 8.1 循环神经网络的概述 145 8.2 LSTM 神经网络 147 8.2.1 LSTM 神经网络的网络结构 147 8.2.2 LSTM 门机制 147 8.3 GRU 神经网络 148 8.3.1 GRU 神经网络的网络结构 148 8.3.2 GRU 门机制 148 8.4 项目案例：文本生成 149 本章总结 159 作业与练习 159 第 9 章 深度循环神经网络 160 9.1 深度循环神经网络的概述 160 9.1.1 深度循环神经网络的特点 160 9.1.2 双向 LSTM 神经网络 162 9.2 项目案例：短时交通流量预测 163 9.2.1 解决方案 163 9.2.2 项目案例实现 164 本章总结 177 作业与练习 177 第 3 部分 时空数据模型与应用 第 10 章 CNN-LSTM 混合模型 180 10.1 编码器-解码器模型 180 10.1.1 模型结构 180 10.1.2 构建编码器-解码器模型 182 10.2 项目案例：基于时空特征的交通事故预测 183 10.2.1 数据集和评价指标 184 10.2.2 项目案例实现 184 本章总结 193 作业与练习 193 第 11 章 多元时间序列神经网络 195 11.1 图 195 11.1.1 结构和信号 196 11.1.2 图结构 197 11.1.3 图神经网络 197 11.2 图卷积网络 198 11.2.1 基本原理 198 11.2.2 数学运算 199 11.2.3 使用 GCN 模型实现图像识别 200 11.3 多元时间序列神经网络的概述 205 11.3.1 DCRNN 205 11.3.2 seq2seq 模型 207 11.4 项目案例：基于 DCRNN实现交通流量预测 209 11.4.1 解决方案 209 11.4.2 项目案例实现 210 本章总结 226 作业与练习 227 第 12 章 MTGNN 与交通流量预测 228 12.1 基于 MTGNN 实现交通流量预测 228 12.1.1 MTGNN 的网络结构 229 12.1.2 MTGNN 时空卷积 229 12.2 PyTorch-Lightning 231 12.2.1 安装 231 12.2.2 基本使用 231 12.3 项目案例：基于 MTGNN实现交通流量预测 232 本章总结 245 作业与练习 246 第 13 章 注意力机制 247 13.1 注意力机制的概述 247 13.1.1 机器翻译中的注意力机制 248 13.1.2 自注意力机制的概述 251 13.2 项目案例：视频异常检测 253 本章总结 266 作业与练习 266 第 14 章 Transformer 268 14.1 Transformer 的概述 268 14.1.1 Transformer 的简介 269 14.1.2 Transformer 的总体结构 269 14.2 Self-Attention 机制 271 14.2.1 Self-Attention 机制的原理 271 14.2.2 Self-Attention 的计算过程 272 14.2.3 Positional Encoding 和LayerNorm 273 14.3 项目案例：轨迹预测 275 14.3.1 解决方案 275 14.3.2 车辆轨迹预测数据集 276 14.3.3 实现过程 278 本章总结 290 作业与练习 290 第 4 部分 生成对抗网络及其应用 第 15 章 生成对抗网络 294 15.1 生成对抗网络的概述 294 15.1.1 GAN 模型的结构 294 15.1.2 GAN 模型的训练过程 295 15.2 TecoGAN 模型 296 15.2.1 TecoGAN 模型的结构 297 15.2.2 TecoGAN 损失函数 297 15.2.3 TecoGAN 评价指标 298 15.3 项目案例：视频超分辨率 298 本章总结 306 作业与练习 306 第 16 章 车牌检测与识别 307 16.1 项目案例：车牌检测与识别 307 16.1.1 数据集 308 16.1.2 MTCNN 模型 309 16.1.3 LPRNet 311 16.2 项目案例实现 312 本章总结 323 作业与练习 324