深度学习：从入门到精通（微课版）

本书全面系统地讲解了深度学习相关的知识。全书共8章，内容包括深度学习简介及TensorFlow安装，神经网络基础、神经网络的TensorFlow实现、卷积神经网络基础、经典卷积神经网络（上）、经典卷积神经网络（下）、深度学习用于文本序列和深度学习实验项目等内容。 本书以知识体系为基础，以课堂案例为载体，采取理论与实践相结合的教学模式，通过知识讲解和上机实验，使学生不仅掌握深度学习的理论基础，而且能够实现基本的代码。

北京大学光华管理学院商务统计与经济计量系，嘉茂荣聘教授，博导，系主任。在理论研究方面，关注高维数据分析。在业界实践方面，王汉生教授是国内最早从统计数据分析角度关注并研究搜索引擎营销，社交网络数据，以及位置轨迹数据分析的学者。曾与百度合作完成百度分析师高级培训，并担任百度认证专家委员会委员。在推进统计应用在电子商务以及移动互联网应用方面建树颇多。

目录 第 1章 深度学习简介及TensorFlow安装 1 【学习目标】 1 【导言】 1 1.1 机器学习、深度学习与人工智能 2 1.1.1 机器学习 2 1.1.2 深度学习 3 1.1.3 机器学习与深度学习同人工智能的关系 4 1.2 深度学习与回归分析 5 1.2.1 回归分析理论框架 5 1.2.2 深度学习与回归分析的联系 6 1.3 深度学习的发展历程 7 1.4 深度学习擅长的领域 9 1.4.1 图像处理 9 1.4.2语音识别 12 1.4.3自然语言处理 12 1.4.4棋牌竞技 13 1.4.5视频处理 14 1.5 安装TensorFlow 14 1.5.1 TensorFlow和Keras介绍 15 1.5.2 硬件环境准备 15 1.5.3 软件环境准备 16 1.5.4 安装Anaconda 17 1.5.5 安装TensorFlow及Keras软件包 17 1.5.6 Jupyter Notebook运行深度学习 19 课后习题 20 第 2章 神经网络基础 21 【学习目标】 21 【导言】 21 2.1 神经网络模型介绍 21 2.1.1 M-P神经元模型 22 2.1.2 感知机模型 23 2.1.3 多层感知机模型 24 2.2 激活函数 25 2.2.1 sigmoid激活函数 26 2.2.2 tanh激活函数 27 2.2.3 Relu激活函数 28 2.3 神经网络的训练 29 2.3.1 神经网络的训练流程 29 2.3.2 前向传播算法 31 2.3.3 损失函数 32 2.3.4 基于梯度下降算法的预备知识 33 2.3.5批量梯度下降算法（Mini-batch） 35 2.3.6批量梯度下降算法的改进 36 2.3.7 反向传播算法 38 2.4 神经网络的过拟合及处理方法 40 2.4.1 过拟合 41 2.4.2 正则化方法 42 2.4.3 Dropout方法 44 课后习题 46 第3章 神经网络的TensorFlow实现 47 【学习目标】 47 【导言】 47 3.1 神经网络的数据结构 47 3.1.1 张量及其分类 47 3.1.2 张量数据示例 49 3.2 图像数据的存储与运算 51 3.2.1图像数据的读入与展示 52 3.2.2 图像数据的代数运算 54 3.3线性回归模型的TensorFlow实现 55 3.3.1 线性回归模型 55 3.3.2 案例：美食评分 56 3.4 逻辑回归模型的TensorFlow实现 63 3.4.1 逻辑回归模型 63 3.4.2 Softmax回归模型 64 3.4.3 案例：手写数字识别 65 课后习题 70 第4章 卷积神经网络基础 71 【学习目标】 71 【导言】 71 4.1 卷积神经网络的基本结构 71 4.2 “卷积”与“池化”的通俗理解 72 4.2.1 对卷积的理解 72 4.2.2 对池化的理解 73 4.3 卷积 74 4.3.1 二维离散卷积 75 4.3.2 卷积结果的输出尺寸 80 4.3.3 多深度的离散卷积 81 4.3.4 卷积运算的三个特性 90 4.4 池化操作 92 4.4.1 same池化 92 4.4.2 valid池化 99 课后习题 105 第5章 经典卷积神经网络（上） 106 【学习目标】 106 【导言】 106 5.1 LeNet-5介绍 107 5.1.1 LeNet-5网络结构 107 5.1.2 案例：LeNet-5手写数字识别 108 5.2 AlexNet介绍 113 5.2.1 AlexNet网络结构 113 5.2.2 AlexNet创新点 114 5.2.3 案例：中文字体识别——隶书和行楷 115 5.3 VGG介绍 119 5.3.1 VGG网络结构 119 5.3.2 案例：加利福尼亚理工学院鸟类数据库分类 121 5.4 Batch Normalization技巧 127 5.4.1 Batch Normalization核心思想 127 5.4.2 带有BN的逻辑回归 128 5.4.3 带有BN的宽度模型 131 5.4.4 带有BN的深度模型 133 5.5 Data Augmentation技巧 135 5.5.1 Data Augmentation核心思想 135 5.5.2 数据增强实例：猫狗分类 136 课后习题 140 第6章 经典卷积神经网络（下） 141 【学习目标】 141 【导言】 141 6.1 Inception模型介绍 141 6.1.1 Inception网络结构 142 6.1.2 案例：Flower分类 147 6.2 ResNet模型介绍 150 6.2.1 ResNet网络结构 150 6.2.2 案例：花的三分类问题 154 6.3 DenseNet模型介绍 158 6.3.1 DenseNet网络结构 158 6.3.2案例：性别区分 163 6.4 MobileNet模型介绍 167 6.4.1 MobileNet网络结构 167 6.4.2 案例：狗的分类 172 6.5 迁移学习 176 6.5.1 深度学习的现实困难 176 6.5.2 迁移学习原理 177 6.5.3 Keras中的迁移学习模型 178 课后习题 182 第7章 深度学习用于文本序列 183 【学习目标】 183 【导言】 183 7.1词嵌入 184 7.1.1 词嵌入前期知识 184 7.1.2 词嵌入的理论原理 187 7.1.3词嵌入的程序实现 189 7.2机器“作诗”初级：逻辑回归 192 7.2.1 机器“作诗”原理 192 7.2.2原理实现：数据处理 195 7.2.3原理实现：逻辑回归 200 7.3机器“作诗”进阶（1）：RNN 205 7.3.1 RNN前期知识 206 7.3.2 RNN模型介绍 208 7.3.3原理实现：数据处理 209 7.3.4原理实现：RNN作诗 213 7.4 机器“作诗”进阶（2）：LSTM 216 7.4.1 LSTM前期知识 216 7.4.2 LSTM模型介绍 219 7.4.3 原理实现：数据准备 224 7.4.4原理实现：LSTM代码实现 225 7.5 文本序列应用实例：机器翻译 228 7.5.1机器翻译原理 228 7.5.2 案例：中英文翻译 234 课后习题 242 第8章 深度学习实验项目 243 【学习目标】 243 【导言】 243 8.1实验一：LeNet模型 244 8.2实验二：AlexNet模型 244 8.3 实验三：VGG 16模型 244 8.4 实验四：Inception V3模型 245 8.5 实验五：ResNet模型 245 8.6 实验六：DenseNet模型 246 8.7 实验七：MobileNet模型 246 8.8 实验八：逻辑回归作诗 247 8.9 实验九：RNN模型作诗 247 8.10 实验十：LSTM模型作诗 248