深度学习入门 基于PyTorch和TensorFlow的理论与实现

本书是一本系统介绍深度学习基础知识和理论原理的入门书籍。本书从神经网络的基本结构入手，详细推导了前向传播与反向传播的数学公式和理论支持，详细介绍了如今各种优化神经网络的梯度优化算法和正则化技巧，给出了在实际应用中的超参数调试和网络训练的技巧。同时，也介绍了典型的卷积神经网络（CNN）和循环神经网络（RNN）。除了介绍理论基础外，本书以Python为基础，详细介绍了如今主流的深度学习框架PyTorch和TensorFlow，并分别使用这两种框架来构建相应的项目，帮助读者从理论和实践中提高自己的深度学习知识水平。

第1章 深度学习基础
1.1 深度学习概述
1.1.1 什么是深度学习
1.1.2 深度学习的应用场景
1.1.3 深度学习的发展动力
1.1.4 深度学习的未来
1.2 Python入门
1.2.1 Python简介
1.2.2 Python的安装
1.2.3 Python基础知识
1.2.4 NumPy矩阵运算
1.2.5 Matplotlib绘图
1.3 Anaconda与Jupyter Notebook
1.3.1 Anaconda
1.3.2 Jupyter Notebook
第2章 PyTorch
2.1 PyTorch概述
2.1.1 什么是PyTorch
2.1.2 为什么使用PyTorch
2.2 PyTorch的安装
2.3 张量
2.3.1 张量的创建
2.3.2 张量的数学运算
2.3.3 张量与NumPy数组
2.3.4 CUDA张量
2.4 自动求导
2.4.1 返回值是标量
2.4.2 返回值是张量
2.4.3 禁止自动求导
2.5 torch.nn和torch.optim
2.5.1 torch.nn
2.5.2 torch.optim
2.6 线性回归
2.6.1 线性回归的基本原理
2.6.2 线性回归的PyTorch实现
第3章 TensorFlow
3.1 TensorFlow概述
3.1.1 什么是TensorFlow
3.1.2 为什么使用TensorFlow
3.2 TensorFlow的安装
3.3 张量
3.3.1 张量的创建
3.3.2 张量的数学运算
3.4 数据流图
3.5 会话
3.6 线性回归的TensorFlow实现
3.7 TensorBoard
3.7.1 TensorBoard代码
3.7.2 TensorBoard显示
第4章 神经网络基础知识
4.1 感知机
4.1.1 感知机模型
4.1.2 感知机与逻辑电路
4.2 多层感知机
4.2.1 感知机的局限性
4.2.2 多层感知机实现异或门逻辑
4.3 逻辑回归
4.3.1 基本原理
4.3.2 损失函数
4.3.3 梯度下降算法
4.3.4 逻辑回归的Python实现
第5章 神经网络
5.1 基本结构
5.2 前向传播
5.3 激活函数
5.4 反向传播
5.5 更新参数
5.6 初始化
5.7 神经网络的Python实现
5.7.1 准备数据
5.7.2 参数初始化
5.7.3 前向传播
5.7.4 交叉熵损失
5.7.5 反向传播
5.7.6 更新参数
5.7.7 构建整个神经网络模型
5.7.8 训练
5.7.9 预测
第6章 深层神经网络
6.1 深层神经网络的优势
6.2 符号标记
6.3 前向传播与反向传播
6.4 多分类函数Softmax
6.4.1 Softmax函数的基本原理
6.4.2 Softmax损失函数
6.4.3 对Softmax函数求导
6.5 深层神经网络的Python实现
6.5.1 准备数据
6.5.2 参数初始化
6.5.3 前向传播
6.5.4 交叉熵损失
6.5.5 反向传播
6.5.6 更新参数
6.5.7 构建整个神经网络
6.5.8 训练与预测
第7章 优化神经网络
7.1 正则化
7.1.1 什么是过拟合
7.1.2 L2正则化和L1正则化
7.1.3 Dropout正则化
7.1.4 其他正则化技巧
7.2 梯度优化
7.2.1 批量梯度下降、随机梯度下降和小批量梯度下降
7.2.2 动量梯度下降算法
7.2.3 牛顿动量
7.2.4 AdaGrad
7.2.5 RMSprop
7.2.6 Adam
7.2.7 学习率衰减
7.3 网络初始化与超参数调试
7.3.1 输入标准化
7.3.2 权重参数初始化
7.3.3 批归一化
7.3.4 超参数调试
7.4 模型评估与调试
7.4.1 模型评估
7.4.2 训练集、验证集和测试集
7.4.3 偏差与方差
7.4.4 错误分析
第8章 卷积神经网络
8.1 为什么选择卷积神经网络
8.2 卷积神经网络的基本结构
8.3 卷积层
8.3.1 卷积
8.3.2 边缘检测
8.3.3 填充
8.3.4 步幅
8.3.5 卷积神经网络卷积
8.3.6 卷积层的作用
8.4 池化层
8.5 全连接层
8.6 卷积神经网络模型
8.7 典型的卷积神经网络模型
8.7.1 LeNet-5
8.7.2 AlexNet
8.8 卷积神经网络模型的PyTorch实现
8.8.1 准备数据
8.8.2 定义卷积神经网络模型
8.8.3 损失函数与梯度优化
8.8.4 训练模型
8.8.5 测试模型
8.9 卷积神经网络模型的TensorFlow实现
8.9.1 准备数据
8.9.2 定义卷积神经网络模型
8.9.3 损失函数与优化算法
8.9.4 训练并测试
第9章 循环神经网络
9.1 为什么选择循环神经网络
9.2 循环神经网络的基本结构
9.3 模型参数
9.4 梯度消失
9.5 GRU
9.6 LSTM
9.7 多种循环神经网络模型
9.8 循环神经网络模型的PyTorch实现
9.8.1 准备数据
9.8.2 定义循环神经网络模型
9.8.3 损失函数与梯度优化
9.8.4 训练模型
9.8.5 测试模型
9.9 循环神经网络模型的TensorFlow实现
9.9.1 准备数据
9.9.2 定义循环神经网络模型
9.9.3 损失函数与优化算法
9.9.4 训练并测