深度学习入门与TensorFlow实践

基于TensorFlow 2，系统讲述如何搭建、训练和应用深度学习模型； 本书旨在填补理论和应用的鸿沟，帮助读者更好、更快地掌握深度学习的算法和原理。 本书旨在讲述深度学习的各种基本算法和原理，以及如何使用Python实现这些算法。本书首先介绍深度学习的相关基础知识，然后讨论深度神经网络的训练、激活函数与正则化等技术，接着讲述卷积神经网络及其搭建方法，最后阐述循环神经网络及其搭建方法。通过本书，读者可以深入理解如何基于TensorFlow 2搭建、训练和应用深度学习模型。 本书主要内容： ·线性模型、激活函数； ·深度神经网络、卷积神经网络、循环神经网络； ·模型评估和正则化； ·搭建深度学习框架； ·基于TensorFlow 2搭建卷积神经网络模型； ·基于TensorFlow 2搭建循环神经网络模型。

本书首先介绍深度学习方面的数学知识与Python基础知识，线性模型中的线性回归模型和logistic模型；然后讲述正向传播算法、反向传播算法及深度神经网络的完整训练流程，输出层的激活函数和隐藏层的常见激活函数，深度学习的过拟合和欠拟合，应对过拟合的方法，以及使用TensorFlow 2建立深度神经网络模型的步骤；接着介绍卷积神经网络及其两个重要的组成部分—卷积和池化，以及如何使用TensorFlow 2建立卷积神经网络；最后讨论如何从零开始实现循环神经网络，如何搭建深度学习框架，如何使用TensorFlow 2建立循环神经网络模型。
本书既可供从事人工智能方面研究的专业人士阅读，也可供计算机专业的师生阅读。

林炳清，毕业于新加坡南洋理工大学，获得统计学博士学位，现为深圳大学数学与统计学院副教授，硕士生导师，主要研究方向为机器学习、数据挖掘、生物信息学，在国内外权威期刊发表论文三十余篇，主持并参与多项国家自然科学基金项目。

第1章 深度学习简介1
1.1什么是深度学习1
1.1.1机器学习简介1
1.1.2深度学习与传统机器学习算法的区别4
1.1.3深度学习与人类神经网络的关系4
1.2为什么需要学习深度学习5
1.3谁需要学习深度学习6
1.4学深度学习之后，你可以做什么6
1.5本章小结6
第2章 数学和Python基础知识7
2.1线性代数7
2.1.1数、向量、矩阵和张量7
2.1.2矩阵的转置8
2.1.3矩阵的基本运算9
2.1.4向量和矩阵的范数10
2.2微积分10
2.2.1导数的概念10
2.2.2求导法则11
2.3概率论11
2.3.1随机变量12
2.3.2随机变量的分布12
2.3.3常见的概率分布13
2.3.4条件概率14
2.4Anaconda14
2.4.1安装Anaconda14
2.4.2包的管理15
2.4.3环境的管理15
2.5Jupyter Notebook16
2.5.1安装Jupyter Notebook16
2.5.2打开和关闭Jupyter Notebook17
2.5.3代码框18
2.5.4标记框19
2.6Python22
2.6.1Python基础22
2.6.2Python基本数据结构23
2.6.3控制结构和函数26
2.6.4NumPy库28
2.6.5Pandas31
2.6.6画图工具32
2.7本章小结35
第3章线性模型36
3.1线性回归模型36
3.1.1线性回归模型简介36
3.1.2随机梯度下降法41
3.1.3全数据梯度下降法50
3.1.4批量随机梯度下降法56
3.1.5学习步长59
3.1.6标准化和中心化61
3.1.73种梯度下降法的对比62
3.2logistic模型63
3.2.1logistic模型简介63
3.2.2估计 和66
3.3本章小结70
习题70
第4章深度神经网络72
4.1为什么需要深度神经网络72
4.1.1简单神经网络72
4.1.2具有隐藏层的神经网络78
4.2正向传播算法83
4.3反向传播算法87
4.4深度神经网络的完整训练流程96
4.4.1随机梯度下降法96
4.4.2批量随机梯度下降法98
4.5本章小结102
习题103
第5章激活函数104
5.1激活函数的基本要求104
5.2输出层的激活函数107
5.2.1因变量为定量数据107
5.2.2因变量为二分类定性数据108
5.2.3因变量为多分类定性数据108
5.2.4识别MNIST数据集中的手写数字111
5.3隐藏层的激活函数116
5.3.1sigmoid函数116
5.3.2tanh函数118
5.3.3ReLU函数119
5.3.4Leaky ReLU函数121
5.4本章小结125
习题126
第6章模型评估和正则化130
6.1模型评估130
6.2欠拟合和过拟合133
6.3正则化140
6.3.1早停法141
6.3.2惩罚法141
6.3.3丢弃法145
6.3.4增加观测点151
6.4本章小结151
习题152
第7章基于TensorFlow 2建立深度学习模型153
7.1安装TensorFlow154
7.2TensorFlow 2基本用法154
7.2.1tf.Tensor154
7.2.2TensorFlow 2和NumPy的兼容性156
7.3深度神经网络建模基本步骤156
7.3.1创建模型结构157
7.3.2训练模型159
7.3.3评估和预测模型160
7.4基于TensorFlow 2建立线性回归模型161
7.5基于TensorFlow 2建立神经网络分类模型164
7.5.1神经网络分类模型164
7.5.2神经网络模型的正则化167
7.6本章小结169
习题170
第8章卷积神经网络171
8.1卷积层172
8.1.1卷积运算172
8.1.2卷积层运算173
8.1.3卷积运算的直观理解175
8.1.4填充177
8.1.5卷积层求导178
8.1.6用Python实现卷积层的计算180
8.2池化层183
8.2.1池化运算183
8.2.2池化层求导185
8.2.3用Python实现池化层的计算187
8.3卷积神经网络189
8.4本章小结196
习题196
第9章基于TensorFlow 2搭建卷积神经网络模型198
9.1卷积层和池化层199
9.2CNN实例——MNIST数据集和CIFAR-10数据集201
9.2.1关于MNIST数据集的实例201
9.2.2关于CIFAR-10数据集的实例207
9.3CNN建模技巧214
9.3.1卷积神经网络的结构214
9.3.2卷积层和池化层的超参数选择215
9.3.3经典的卷积神经网络216
9.4本章小结219
习题219
第10章 循环神经网络221
10.1分析IMDB的数据221
10.1.1IMDB的数据221
10.1.2神经网络模型（IMDB）225
10.2词嵌入229
10.3循环神经网络231
10.4从零开始实现循环神经网络236
10.4.1莎士比亚作品应用示例236
10.4.2正向传播算法239
10.4.3反向传播算法241
10.5本章小结246
习题247
第11章 搭建深度学习框架248
11.1类Tensor和自动求导248
11.1.1类248
11.1.2类Tensor250
11.1.3自动求导251
11.2为Tensor类添加运算函数并建立神经网络模型258
11.2.1为Tensor类添加运算函数258
11.2.2使用Tensor类建立神经网络模型264
11.3类SGD、类Layer和激活函数266
11.3.1类SGD266
11.3.2类Layer267
11.3.3激活函数270
11.4词嵌入和循环神经网络278
11.4.1词嵌入278
11.4.2循环神经网络285
11.5本章小结291
习题291
第12章 长短期记忆模型与门控循环单元模型292
12.1简单循环神经网络的主要缺陷292
12.2长短期记忆模型298
12.2.1LSTM模型的核心思想299
12.2.2详解LSTM模型299
12.2.3实现LSTM模型301
12.3门控循环单元模型306
12.3.1详解GRU模型307
12.3.2实现GRU模型308
12.4本章小结311
习题311
第13章 基于TensorFlow 2搭建循环神经网络模型312
13.1建立LSTM模型312
13.1.1预处理数据313
13.1.2基于TensorFlow建立LSTM模型315
13.2基于TensorFlow建立GRU模型316
13.3本章小结325
习题326