深度学习入门与实践

大约在一百年前，电气化改变了交通运输行业、制造业、医疗行业、通信行业，如今AI带来了同样巨大的改变。AI的各个分支中发展最为迅速的方向之一就是深度学习。本书主要涉及以下内容：第1部分是神经网络的基础，学习如何建立神经网络，以及如何在数据上面训练它们。第2部分进行深度学习方面的实践，学习如何构建神经网络与超参数调试、正则化以及一些高级优化算法。第3部分学习卷积神经网络(CNN)，以及如何搭建模型、有哪些经典模型。它经常被用于图像领域，此外目标检测、风格迁移等应用也将涉及。最后在第4部分学习序列模型，以及如何将它们应用于自然语言处理等任务。序列模型讲到的算法有循环神经网络（RNN）、长短期记忆网络（LSTM）、注意力机制。通过以上内容的学习，读者可以入门深度学习领域并打下扎实基础，为后续了解和探索人工智能前沿科技做知识储备。本书配有电子课件，需要配套资源的教师可登录机械工业出版社教育服务网www.cmpedu.com免费注册后下载。

目 录前言第1部分神经网络和深度学习第1章深度学习简介1.1神经网络1.2神经网络的监督学习应用1.3为什么深度学习会兴起第2章神经网络的编程基础 2.1二分类2.2逻辑回归2.3逻辑回归的代价函数2.4梯度下降法2.5计算图2.6使用计算图求导数2.7逻辑回归中的梯度下降2.8m个样本的梯度下降2.9向量化2.10向量化逻辑回归2.11向量化逻辑回归的输出2.12Python中的广播2.13numpy向量2.14logistic损失函数的解释第3章浅层神经网络3.1神经网络概述3.2神经网络的表示3.3计算一个神经网络的输出3.4多样本向量化3.5激活函数3.6激活函数的导数3.7神经网络的梯度下降3.8理解反向传播3.9随机初始化第4章深层神经网络4.1深层神经网络概述4.2前向传播和反向传播4.3深层网络中矩阵的维数4.4为什么使用深层表示4.5超参数第2部分改善深层神经网络：超参数调试、正则化以及优化第5章深度学习的实践5.1训练、验证、测试集5.2偏差、方差5.3机器学习基础5.4正则化5.5正则化如何降低过拟合5.6dropout正则化5.7理解dropout5.8其他正则化方法5.9归一化输入5.10梯度消失/梯度爆炸5.11梯度的数值逼近5.12梯度检验第6章优化算法 6.1mini-batch梯度下降6.2理解mini-batch梯度下降法6.3动量梯度下降法6.4RMSprop6.5Adam 优化算法6.6学习率衰减6.7局部最优问题第7章超参数调试、正则化7.1调试处理7.2超参数的合适范围7.3归一化网络的激活函数7.4将batch norm拟合进神经网络7.5batch归一化分析7.6softmax回归7.7训练一个softmax分类器7.8TensorFlow第3部分卷积神经网络及应用第8章卷积神经网络8.1计算机视觉8.2边缘检测示例8.3边缘检测内容8.4填充8.5卷积步长8.6三维卷积8.7单层卷积网络8.8简单卷积网络示例8.9池化层8.10卷积神经网络示例8.11为什么使用卷积第9章深度卷积网络：实例探究9.1经典网络9.2残差网络9.3残差网络为什么有用9.4网络中的1×1卷积9.5谷歌Inception网络9.6迁移学习9.7数据增强第10章目标检测10.1目标定位10.2特征点检测10.3目标检测10.4滑动窗口的卷积实现10.5Bounding Box预测10.6交并比10.7非极大值抑制10.8Anchor Boxes10.9YOLO算法第11章特殊应用：人脸识别和神经风格迁移11.1One-Shot学习11.2Siamese网络11.3Triplet损失11.4人脸验证与二分类11.5神经风格迁移11.6深度卷积网络学习什么11.7代价函数11.8内容代价函数11.9风格代价函数11.10一维到三维推广第4部分序列模型第12章循环序列模型12.1为什么选择序列模型12.2数学符号12.3循环神经网络模型12.4通过时间的反向传播12.5不同类型的循环神经网络12.6语言模型和序列生成12.7对新序列采样12.8循环神经网络的梯度消失12.9GRU单元12.10长短期记忆12.11双向循环神经网络12.12深层循环神经网络第13章序列模型和注意力机制13.1序列结构的各种序列13.2选择最可能的句子13.3集束搜索13.4改进集束搜索13.5集束搜索的误差分析13.6注意力模型直观理解13.7注意力模型附录附录A深度学习符号指南A.1数据标记与上下标A.2神经网络模型A.3正向传播方程示例A.4通用激活公式A.5损失函数A.6深度学习图示附录B线性代数B.1基础概念和符号B.2矩阵乘法（