深度学习理论与实践/卓越工程师培养系列

深度学习是计算机科学 的一个重要分支，是一种以 人工神经网络为架构，对数 据进行表征学习的算法的总 称。深度学习是传统机器学 习算法的发展和衍生，相关 内容涉及代数、统计学、优 化理论、矩阵计算等多个领 域。本书是深度学习的基础 入门级教材，在内容上尽可 能覆盖深度学习算法相关基 础知识。全书共11章，大致 可分为三大部分：第一部分 （第1～3章）主要介绍机器 学习的基础知识和一些传统 算法；第二部分（第4～8章 ）主要介绍人工神经网络等 的相关理论、优化算法和各 类经典神经网络模型；第三 部分（第9～11章）为进阶 知识，主要介绍非监督学习 和强化学习的相关算法。 在学习本书的过程中， 读者不仅要深入理解相关算 法理论，更要多思多练。读 者在阅读各章节内容后，可 基于各章习题巩固知识，并 将理论与实践结合，基于 torch、tensorflow等深度学 习平台在实际任务中演练所 学理论知识和技能。本书可 作为高等院校计算机或电子 信息相关专业的本科生或研 究生教材。

第1章 绪论 1.1 疫情防控中的应用 1.2 自动驾驶中的应用 1.3 现代农业中的应用 第2章 基础归模型 2.1 线性回归模型 2.1.1 一元线性回归 2.1.2 多元线性回归 2.1.3 多项式回归 2.2 参数估计模型 2.2.1 最小二乘估计 2.2.2 岭回归 2.2.3 套索回归 2.2.4 弹性回归 2.3 梯度下降算法 2.3.1 梯度的概念 2.3.2 梯度下降法算法 2.3.3 梯度下降算法分类 2.4 回归模型效果评估 2.4.1 平均绝对误差（MAE） 2.4.2 平均绝对百分比误差MAPE） 2.4.3 均方误差（MSE） 2.4.4 均方根误差（RMSE） 2.4.5 均方根对数误差（RMSLE） 2.4.6 中位数绝对误差（MedAE） 2.4.7 决定系数（R2） 习题2 第3章 基础分类模型 3.1 逻辑回归 3.1.1 广义线性模型 3.1.2 逻辑回归模型 3.1.3 代价函数 3.1.4 模型求解 3.2 支持向量机 3.2.1 线性支持向量机 3.2.2 模型参数的求解 3.2.3 非线性支持向量机 3.3 决策树 3.3.1 算法简介 3.3.2 决策树的基本构建流程 3.3.3 特征选择与不纯性计算 3.3.4 C4.5算法 3.4 贝叶斯分类 3.4.1 相关数学概念 3.4.2 贝叶斯决策理论 3.4.3 极大似然估计 3.4.4 朴素贝叶斯分类器 3.4.5 半朴素贝叶斯分类器 3.5 分类模型效果评估 3.5.1 一级指标 3.5.2 二级指标 3.5.3 三级指标 习题3 第4章 人工神经网络基础 4.1 人工神经网络基础结构 4.1.1 人工神经元 4.1.2 单层神经网络 4.1.3 多层神经网络 4.2 神经网络的向量化表示与主要函数 4.2.1 神经网络的向量化表示 4.2.2 常用激活函数 4.2.3 常见损失函数 4.3 正向传播与反向传播 4.3.1 正向传播 4.3.2 反向传播 4.4 深度学习平台简介 习题4 第5章 人工神经网络优化 5.1 人工神经网络的特点和主要问题 5.2 模型优化表征能力提外方法 5.2.1 模型的规模提升与结构选择 5.2.2 数据预处理 5.2.3 模型参数初始化 5.2.4 模型结构优化 5.2.5 模型的超参设定 5.3 优化算法改进方法 5.3.1 指数加权平均 5.3.2 基于动量的梯度下降法 5.3.3 AdaGrad & RMSprop算法 5.3.4 Adam算法 5.3.5 近似梯度计算 5.4 模型效果评估与泛化能力提外方法 5.4.1 训练集、验证集、测试集划分 5.4.2 欠拟合与过拟合 5.4.3 正则化 5.4.4 丢弃法 5.4.5 提前停止法 5.4.6 误差分析 习题5 第6章 卷积神经网络 6.1 卷积神经网络基础 6.1.1 卷积运算 6.1.2 池化操作 6.1.3 卷积神经网络构成 6.1.4 反向传播 6.2 经典的卷积神经网络模型 6.2.1 AlexNet 6.2.2 VGG网络 6.2.3 GoogleNet（Inception） 6.2.4 ResNet 6.2.5 DenseNet 6.2.6 SqueezeNet 习题6 第7章 循环神经网络 7.1 循环神经网络基础 7.1.1 循环神经网络的基础结构 7.1.2 不同类型的循环神经网络 7.1.3 正向传播 7.1.4 反向传播 7.2 经典的循环神经网络模型 7.2.1 LSTM 7.2.2 GRU 7.2.3 双向循环神经网络 7.2.4 多层循环神经网络模型 7.2.5 Seq-to-Seq模型 习题7 第8章 注意力机制及其应用 8.1 注意力机制 8.1.1 注意力机制模型构建流程 8.1.2 多头注意力机制 8.2 自注意力模型 8.3 Transformer模型 8.3.1 编码器 8.3.2 解码器 8.3.3 多头自注意力 8.3.4 位置信息编码 8.4 自然语言处理中的注意力模型 8.4.1 自然语言处理背景介绍 8.4.2 Word2vec原理与训练模式 8.4.3 ELMo 8.4.4 GPT模型 8.4.5 Bert模型 习题8 第9章 图神经网络 9.1 图的概述 9.1.1 图的基本定义 9.1.2 图的基本类型 9.1.3 图的存储 9.1.4 图的应用 9.2 图信号处理 9.2.1 图的拉普拉斯矩阵 9.2.2 图的傅里叶变换 9.3 图卷积网络 9.3.1 图卷积网络的演化 9.3.2 一般图卷积网络 9.4 空间域图神经网络 9.4.1 GNN的通用框架 9.4.2 GraphSAGE 9.4.3 图自注意力网络 9.4.4 Graphormer 习题9 第10章 无监督学习 10.1 聚类 10.1.1 k-Means聚类 10.1.2 k-Means++聚类箅法 10.2 无监督特征学习 10.2.1 主成分分析 10.2.2 自编码器 10.2.3 生成对抗网络 习题10 第11章 强化学习 11.1 强化学习概述 11.1.1 强化学习的理论基础 11.1.2 强化学习的分类 11.1.3 强化学习的应