神经网络与深度学习：案例与实践

作为邱锡鹏老师出品的《神经网络与深度学习》配套案例，与《神经网络与深度学习》深度融合，从实践角度诠释原书理论内容。

序 前言 第1章实践基础1 1.1如何运行本书的代码.2 1.1.1本地运行.2 1.1.2代码下载与使用方法..3 1.1.3在线运行.4 1.2张量..6 1.2.1创建张量.6 1.2.2张量的属性..9 1.2.3张量与Numpy数组转换..13 1.2.4张量的访问..13 1.2.5张量的运算..16 1.3算子..20 1.3.1算子定义.21 1.3.2自动微分机制..25 1.3.3预定义的算子..27 1.3.4本书中实现的算子..27 1.3.5本书中实现的优化器..29 1.4本书中使用的数据集和实现的Dataset类..29 1.4.1数据集..29 1.4.2Dataset类..31 1.5本书中实现的Runner类.31 1.6小结..32 第2章机器学习概述33 2.1机器学习实践五要素.34 2.1.1数据..35 2.1.2模型..36 2.1.3学习准则.36 2.1.4优化算法.37 2.1.5评价指标.37 2.2实现一个简单的线性回归模型..38 2.2.1数据集构建..38 2.2.2模型构建.40 2.2.3损失函数.42 2.2.4优化器..43 2.2.5模型训练.45 2.2.6模型评价.45 2.3多项式回归..46 2.3.1数据集构建：ToySin25..46 2.3.2模型构建.48 2.3.3模型训练.49 2.3.4模型评价.50 2.3.5通过引入正则化项来缓解过拟合..52 2.4构建Runner类..53 2.5实践：基于线性回归的波士顿房价预测.55 2.5.1数据处理.55 2.5.2模型构建.62 2.5.3完善Runner类：RunnerV1.62 2.5.4模型训练.63 2.5.5模型评价.64 2.5.6模型预测.64 2.6小结..65 第3章线性分类67 3.1基于Logistic回归的二分类任务.68 3.1.1数据集构建..69 3.1.2模型构建.71 3.1.3损失函数.73 3.1.4模型优化.74 3.1.5评价指标.77 3.1.6完善Runner类：RunnerV2.77 3.1.7模型训练.80 3.1.8模型评价.82 3.2基于Softmax回归的多分类任务..82 3.2.1数据集构建..83 3.2.2模型构建.86 3.2.3损失函数.88 第3章线性分类67 3.1基于Logistic回归的二分类任务.68 3.1.1数据集构建..69 3.1.2模型构建.71 3.1.3损失函数.73 3.1.4模型优化.74 3.1.5评价指标.77 3.1.6完善Runner类：RunnerV2.77 3.1.7模型训练.80 3.1.8模型评价.82 3.2基于Softmax回归的多分类任务..82 3.2.1数据集构建..83 3.2.2模型构建.86 3.2.3损失函数.88 3.2.4模型优化.89 3.2.5模型训练.91 3.2.6模型评价.92 3.3实践：基于Softmax回归完成鸢尾花分类任务.92 3.3.1数据处理.93 3.3.2模型构建.95 3.3.3模型训练.96 3.3.4模型评价.96 3.3.5模型预测.97 3.4小结..97 第4章前馈神经网络994.1神经元.99 4.1.1净活性值.100 4.1.2激活函数.101 4.2基于前馈神经网络的二分类任务..104 4.2.1数据集构建..105 4.2.2模型构建.105 4.2.3损失函数.108 4.2.4模型优化.109 4.2.5完善Runner类：RunnerV2_1..115 4.2.6模型训练.117 4.2.7模型评价.118 4.3自动梯度计算和预定义算子.119 4.3.1利用预定义算子重新实现前馈神经网络..119 4.3.2完善Runner类：RunnerV2_2..120 4.3.3模型训练.122 4.3.4模型评价.124 4.4优化问题.124 4.4.1参数初始化..124 4.4.2梯度消失问题..126 4.4.3死亡ReLU问题.129 4.5实践：基于前馈神经网络完成鸢尾花分类任务.130 4.5.1小批量梯度下降法..130 4.5.2数据处理.132 4.5.3模型构建.133 4.5.4完善Runner类：RunnerV3.135 4.5.5模型训练.140 4.5.6模型评价.142 4.5.7模型预测.142 第5章卷积神经网络145 5.1卷积..146 5.1.1二维卷积运算..146 5.1.2二维卷积算子..147 5.1.3卷积的变种..148 5.1.4带步长和零填充的二维卷积算子..149 5.1.5使用卷积运算完成图像边缘检测任务.151 5.2卷积神经网络的基础算子..152 5.2.1卷积层算子..152 5.2.2汇聚层算子..156 5.3基于LeNet实现手写体数字识别任务..157 5.3.1数据集构建..158 5.3.2模型构建.161 5.3.3模型训练.164 5.3.4模型评价.165 5.3.5模型预测.165 5.4基于残差网络的手写体数字识别..166 5.4.1模型构建.167 5.4.2没有残差连接的ResNet18.173 5.4.3带残差连接的ResNet18.174 5.5实践：基于ResNet18网络完成图像分类任务..175 5.5.1数据处理.176 5.5.2模型构建.179 5.5.3模型训练.179 5.5.4模型评价.181 5.5.5模型预测.181 5.6小结..182 第6章循环神经网络183 6.1循环神经网络的记忆能力实验..184 6.1.1数据集构建..185 6.1.2模型构建.189 6.1.3模型训练.194 6.1.4模型评价.196 6.2梯度爆炸实验.196 6.2.1梯度打印函数..197 6.2.2复现梯度爆炸问题..197 6.2.3使用梯度截断解决梯度爆炸问题..199 6.3LSTM的记忆能力实验..200 6.3.1模型构建.202 6.3.2模型训练.204 6.3.3模型评价.206 6.4实践：基于双向LSTM模型完成文本分类任务.207 6.4.1数据处理.207 6.4.2模型构建.212 6.4.3模型训练.214 6.4.4模型评价.215 6.4.5模型预测.216 6.5小结..216 第7章网络优化与正则化217 7.1小批量梯度下降法..218 7.2批大小的调整实验..218 7.3不同优化算法的比较分析..221 7.3.1优化算法的实验设定..222 7.3.2学习率调整..229 7.3.3梯度估计修正..235 7.3.4不同优化器的3D可视化对比..240 7.4参数初始化..244 7.4.1基于固定方差的参数初始化.244 7.4.2基于方差缩放的参数初始化.245 7.5逐层规范化..250 7.5.1批量规范化..250 7.5.2层规范化.257 7.6网络正则化方法.259 7.6.1数据集构建..260 7.6.2模型构建.260 7.6.3?1和?2正则化..266 7.6.4权重衰减.268 7.6.5暂退法..269 7.7小结..272 第8章注意力机制273 8.1基于双向LSTM和注意力机制的文本分类.274 8.1.1数据介绍.275 8.1.2模型构建.275 8.1.3使用加性注意力模型进行实验.282 8.1.4使用点积注意力模型进行实验.284 8.2基于双向LSTM和多头自注意力的文本分类实验.287 8.2.1自注意力模型..287 8.2.2基于LSTM和多头自注意力的文本分类的模型构建..297 8.2.3模型训练.299 8.2.4模型评价.300 8.2.5模型预测.301 8.3实践：基于自注意力模型的文本语义匹配..302 8.3.1数据集构建..303 8.3.2模型构建.306 8.3.3模型训练.316 8.3.4模型评价.317 8.3.5模型预测.318 8.3.6注意力可视化..318 8.4小结..321