深度学习理论与实践

本书分3个部分，分别为深度学习理论基础、深度学习实验和深度学习案例。这3个部分层层递进，介绍了机器学习的基础知识与常用方法，包括机器学习基本操作的原理和在深度学习框架下的实践步骤。第1部分通过7章来介绍深度学习的基础知识，包括深度学习在不同领域的应用，不同深度学习框架的对比，以及机器学习、神经网络等方面的内容。第2部分包括常用深度学习框架的基础讲解，以及计算机视觉、自然语言处理、强化学习和可视化技术领域的一些实验讲解。第3部分提供了8个案例，介绍深度学习在图像分类、目标检测、目标识别、图像分割、风格迁移、自然语言处理等方面的应用。本书将理论与实践紧密结合，能为读者提供有益的学习指导。 本书适合高等院校计算机科学和软件工程等相关专业的学生、深度学习初学者和机器学习算法分析从业人员阅读。

吕云翔，北京航空航天大学副教授。从2003年在北航软件学院工作以来，一直讲授本科生的“计算机导论”、“职业生涯规划”和“软件工程”这三门课，以及研究生的“软件工程”课（全英文，2003-2007）。在教学上能够认真备课，积极探索，并且能够将大量的教学经验（从1986年开始从教）应用到实际的教学中，教学效果良好，使学生能够很好地掌握相关的知识和技能。先后以第一作者著、编著和翻译了二十多本书。2009年获得北航软件学院著书特别奖。获北航教学成果二等奖一项（2012），三等奖两项（2010、2014）。

前言 第1部分深度学习理论基础 第1章深度学习简介 11计算机视觉 111定义 112基本任务 113传统方法 114仿生学与深度学习 115现代深度学习 116卷积神经网络 12自然语言处理 121自然语言处理的基本问题 122传统方法与神经网络方法的比较 123发展趋势 13强化学习 131什么是强化学习 132强化学习算法简介 133强化学习的应用 14本章小结 习题 第2章深度学习框架 21PyTorch 211什么是PyTorch 212PyTorch的特点 213PyTorch应用概述 22TensorFlow 221什么是TensorFlow 222数据流图 223TensorFlow的特点 224TensorFlow应用概述 23PaddlePaddle 231什么是PaddlePaddle 232PaddlePaddle的特点 233PaddlePaddle应用概述 24三者的比较 25本章小结 习题 第3章机器学习基础知识 31机器学习概述 311关键术语 312机器学习的分类 313机器学习的模型构造过程 32监督学习 321线性回归 322逻辑斯谛回归 323最小近邻法 324线性判别分析法 325朴素贝叶斯分类器 326决策树分类算法 327支持向量机分类算法 33无监督学习 331划分式聚类方法 332层次化聚类方法 333基于密度的聚类方法 34强化学习 341强化学习、监督学习和无监督学习 342强化学习问题描述 343强化学习问题分类 35神经网络和深度学习 351感知器模型 352前馈神经网络 353卷积神经网络 354其他类型结构的神经网络 36本章小结 习题 第4章回归模型 41线性回归模型 42Logistic回归模型 43用PyTorch实现Logistic回归 431数据准备 432线性方程 433激活函数 434损失函数 435优化算法 436模型可视化 44本章小结 习题 第5章神经网络基础 51基础概念 52感知器 521单层感知器 522多层感知器 53BP神经网络 531梯度下降 532反向传播 54Dropout正则化 55批标准化 551批标准化的实现方式 552批标准化的使用方法 56本章小结 习题 第6章卷积神经网络(CNN)与计算机视觉 61卷积神经网络的基本思想 62卷积操作 63池化层 64卷积神经网络 65经典网络结构 651VGG网络 652InceptionNet 653ResNet 654GAN 655Diffusion模型 66用PyTorch进行手写数字识别 67本章小结 习题 第7章神经网络与自然语言处理 71语言建模 72基于多层感知机的架构 73基于循环神经网络的架构 731循环单元 732通过时间反向传播 733带有门限的循环单元 734循环神经网络语言模型 735神经机器翻译 74基于卷积神经网络的架构 75基于Transformer的架构 751多头注意力 752非参位置编码 753编码器单元与解码器单元 76表示学习与预训练技术 761词向量 762加入上下文信息的特征表示 763网络预训练 77本章小结 习题 第2部分深度学习实验 第8章操作实践 81PyTorch操作实践 811PyTorch安装 812Tensor 对象及其运算 813Tensor 的索引和切片 814Tensor的变换、拼接和拆分 815PyTorch的Reduction操作 816PyTorch的自动微分 82TensorFlow操作实践 821TensorFlow安装 822Tensor 对象及其运算 823Tensor 的索引和切片 824Tensor 的变换、拼接和拆分 825TensorFlow的Reduction操作 826TensorFlow 的自动微分 83PaddlePaddle操作实践 831PaddlePaddle安装 832Tensor 的创建和初始化 833Tensor的常见基础操作 834自动微分 84本章小结 第9章人工智能热门研究领域实验 91计算机视觉 911一个通用的图像分类模型 912两阶段目标检测和语义分割 913人物图像处理 914调用远程服务 915动漫图像生成 92自然语言处理 921垃圾邮件分类 922词嵌入技术 923文本生成与多轮对话 924语音识别 93强化学习：一个会玩平衡摆的智能体 94可视化技术 941使用TensorBoard可视化训练过程 942卷积核可视化 943注意力机制可视化 95本章小结 第3部分深度学习案例 第10章案例：花卉图片分类 101环境与数据准备 1011环境安装 1012数据集简介 1013数据集下载与处理 102模型创建、训练和测试 1021模型创建与训练 1022测试与结果 103本章小结 第11章案例：人脸关键点检测 111数据准备 1111人脸裁剪与缩放 1112数据归一化处理 1113整体代码 112模型搭建与训练 1121特征图生成 1122模型搭建 1123模型训练 113模型评价 114本章小结 第12章案例：街景门牌字符识别 121背景介绍 122算法介绍 1221YOLOv4 1222算法流程 123模型优化 1231数据增强 1232模型融合 124结果展示 125本章小结 第13章案例：对抗攻击 131对抗攻击简介 1311对抗攻击的分类和主要难点 1312快速梯度符号法的基本原理 1313对抗贴图攻击 132基于PyTorch的对抗攻击实现 1321环境配置 1322数据集和目标模型 1323运行目标检测器SSD 1324在指定位置生成对抗贴图 1325解决梯度回传问题 133本章小结 第14章案例：车牌识别 141车牌识别简介 1411车牌识别应用及发展史 1412基于深度学习的车牌识别技术 142基于 PaddleOCR 的车牌识别实现 1421PaddleOCR简介与环境准备 1422CCPD 数据集介绍 1423数据集准备与预处理 1424模型选择与训练 143本章小结 第15章案例：小度熊图片的实例分割 151实例分割应用场景 152基于PaddleX的实例分割实现 1521PaddleX简介与环境准备 1522数据集介绍 1523模型介绍与训练 1524模型评估与预测 153本章小结 第16章案例：照片风格迁移 161数据集介绍 162模型介绍与构建 1621CycleGAN简介 1622模型结构 163模型实现 164细节分析 1641标准化（Normalization） 1642PatchGAN 1643损失函数（Loss Function） 1644ReplayBuffer 165结果展示 166可视化验证 167本章小结 第17章案例：IMDb评论情感判断 171数据的读取和预处理 1711数据读取 1712数据预处理 1713数据存储 172模型训练 1721模型和数据集加载 1722优化器和参数设置 1723模型训练过程 173结果检验 174本章小结 第18章基于Transformer的片段抽取式机器阅读理解 181模型介绍 1811Transformer 1812Self-Attention Layer 1813Layer Normalization 1814BERT 1815RoBERTa 182数据集和评估指标 183本章小结 第19章基于Stable Diffusion的图像生成 191Stable Diffusion技术基础 1911什么是Stable Diffusion 1912Stable Diffusion模型组成 1913Stable Diffusion Web UI界面 1914Diffusers库 192文本生成图像 1921环境准备 1922基于Diffusers的代码实现 1923文生图实现原理 193本章小结 附录深度学习的数学基础 附录A线性代数 附录B概率论 参考文献