深度学习基础与应用

本书分四部分介绍深度学习算法模型及相关应用实例。第一部分介绍在深度学习中推荐的一些数学和机器学习的基础知识。第二部分介绍卷积神经网络、循环神经网络、深度强化网络等经典模型，并对每种模型从原理、结构、优化等方面进行论述。第三部分介绍深度学习中常用的优化方法及训练技巧。第四部分结合实践来介绍深度学习在计算机视觉、模式识别中的应用。本书同时兼顾理论和应用，有助于读者理解基本理论知识，并将理论知识用于实际应用。本书既可以作为高等院校计算机及相关专业的高年级本科生和研究生教材，也可以作为对深度学习感兴趣的研究人员和工程人员的参考用书。

第1章绪论
1.1人工智能
1.1.1什么是人工智能
1.1.2人工智能的实现途径
1.1.3人工智能发展简史
1.2深度学习
1.2.1深度学习发展简史
1.2.2深度学习的主要应用
第2章基础知识
2.1线性代数
2.1.1线性代数基础
2.1.2矩阵的秩及矩阵运算
2.1.3常见特殊矩阵
2.1.4范数
2.1.5特征分解
2.1.6奇异值分解
2.2概率论
2.2.1随机变量
2.2.2概率分布
2.2.3随机变量的数字特征
2.2.4贝叶斯定理
2.2.5常用概率分布
2.3很优化方法
2.3.1梯度下降法
2.3.2牛顿法
2.3.3拟牛顿法
2.4机器学习
2.4.1基本概念
2.4.2优选似然估计
2.4.3机器学习的三要素
2.4.4过拟合与欠拟合
2.4.5学习方式
2.4.6评估方法
2.4.7性能度量
2.5神经网络
2.5.1神经元模型
2.5.2单层感知器
2.5.3多层感知器
}3章深度卷积神经网络
3.1卷积层和卷积运算
3.1.1生物机理
3.1.2卷积运算
3.2池化层和池化运算
3.3AlexNet卷积神经网络
3.3.1AlexNet的提出背景
3.3.2AlexNet的网络结构
3.3.3AlexNet的训练细节
3.3.4AlexNet在分类任务上的表现
3.4VGG网络
3.4.1VGG网络的提出背景
3.4.2VGG网络的结构配置
3.4.3VGG网络的训练细节
3.4.4VGG网络在分类任务上的表现
3.5ResNet卷积神经网络
3.5.1ResNet的提出背景
3.5.2ResNet的网络结构
3.5.3ResNet的训练细节
3.5.4ResNet在分类任务上的表现
第4章深度循环神经网络
4.1简单循环网络
4.1.1简单循环网络的前向传播过程
4.1.2简单循环潮络的训练过程
4.1.3单循环网络的长期依赖问题
4.2长短期记忆网络
4.2.1门机制
4.2.2长短期记忆网络的前向传播过
4.2.3长短期记忆网络的训练过程
4.2.4长短期记忆网络的变体
4.3神经图灵机
4.3.1网络结构
4.3.2寻址方式
4.3.3控制器网络
4.3.4小结
4.4双向循环网络和多层循环网络
4.4.1双向循环网络
4.4.2多层循环网络
第5章深度生成模型
5.1变分自编码器
5.1.1预备知识
5.1.2解码器网络
5.1.3编码器网络
5.1.4总体模型
5.1.5训练过程
5.2生成对抗网络
5.2.1基本思想
5.2.2理论推导
5.2.3训练过程
5.2.4生成对抗网络的变体
第6章深度强化学习
6.1强化学习定义
6.1.1目标函数
6.1.2值函数
6.1.3Q函数
6.2强化学习求解方法
6.2.1动态规划法
6.2.2蒙特卡罗法
6.2.3时序差分学习法
6.3深度Q网络
6.4策略梯度法
第7章深度学习中的优化方法
7.1梯度下降
7.1.1批量梯度下降
7.1.2随机梯度下降
7.1.3小批量梯度下降
7.2动量
7.2.1经典动量
7.2.2Nesterov动量
7.3自适应法
7.3.1AdaGrad
7.3.2RMSProD
7.3.3Adam
7.4应用实例
7.4.1梯度下降实例
7.4.2动量实例
7.4.3Nesterovr动量实例
7.4.4AdaGrad实例
7.4.5RMSProF)实例
7.4.6Adam实例
第8章深度学习中的训练技巧
8.1网络正则化
8.1.1参数范数惩罚
8.1.2Dropout
8.1.3BatctlNormalizatinn
8.2数据增广与预处理
8.2.1数据增广
8.2.2数据预处理
8.3参数初始化
8.4激活函数的选择
8.5超参数的选择
8.5.1宽泛策略
8.5.2习率的调整
8.5.3迭代次数
8.5.4正则化参数
8.5.5批量数据的大小
8.5.6总体调参过程
8.6调试策略
8.6.1基本调试策略
8.6.2可视化工具——TensorBoal
第9章开源框架
9.1CaⅡle
9.1.1MNIST手写体数字集
9.1.2深度模型LeNet一
9.1.3Caffe的文件目录结构
9.2TensorFlow
9.3Pyiforch
9.4PyoTorclI与TensorF10w的对比
9.5C如与TensorFlow的对比
第10章深度学习在目标检测中的应用
10.1目标检测介绍
10.2传统目标检测算法
10.3基于深度学习的目标检测算法
10.3.1R—CNN
10.3.2FastR—CNN
10.3.3FasteR—CNN
10.3.4YOL
10.3.5SSD
10.4常用数据集
10.4.1PASCALVOC
10.4.2COCO
10.5算法性能分析
第11章深度学习在目标跟踪中的应用
11.1目标跟踪介绍
11.2传统目标跟踪算法
11.3基于深度学习的目标跟踪算法
11.3.1DLT
……