TensorFlow神经网络到深度学习

本书共12章，主要内容包括TensorFlow软件介绍、计算机视觉与深度学习、深度神经网络的基础、全连接神经网络、卷积神经网络、高级卷积神经网络、循环神经网络、对抗神经网络、其他监督学习、非监督学习、自动编码机、强化学习等。

本书以TensorFlow为平台，从神经网络到深度学习由浅入深进行介绍，书中每章都以理论引出，以TensorFlow应用巩固结束，做到理论与实践相结合，使读者快速了解神经网络、深度学习等内容，同时领略利用TensorFlow解决这些问题的简单和快捷。本书共12章，主要内容包括TensorFlow软件介绍、计算机视觉与深度学习、深度神经网络的基础、全连接神经网络、卷积神经网络、高级卷积神经网络、循环神经网络、对抗神经网络、其他监督学习、非监督学习、自动编码机、强化学习等。本书不仅适用于TensorFlow初学者，还适用于研究TensorFlow的广大科研人员、学者和工程技术人员。

张德丰，男， 1963年9月生，辽宁大连人。1993年毕业于哈尔滨工业大学航天学院，获得工学硕士学位。现佛山科学技术学院，电子信息工程学院计算机系，计算机应用技术教授，学院数字图像处理与识别学术带头人。

第1章走进TENSORFLOW1
1．1TensorFlow介绍1
1．1．1TensorFlow特性1
1．1．2谁可以使用TensorFlow2
1．1．3为什么Google要开源这个利器3
1．2TensorFlow的环境搭建4
1．2．1安装环境介绍4
1．2．2安装TensorFlow5
1．2．3Cuda和CuDNN的安装7
1．2．4Geany开发环境9
1．3TensorFlow基本使用10
1．3．1计算图10
1．3．2构建图10
1．3．3在一个会话中启动图11
1．3．4交互式使用12
1．3．5Fetch12
1．3．6Feed13
1．4变量13
1．5TensorFlow的队列16
1．5．1队列的创建16
1．5．2线程同步与停止19
1．5．3队列中数据的读取20
1．6TensorBoard可视化23
1．6．1在TensorBoard中查看图结构24
1．6．2数据变化趋势25
第2章计算机视觉与深度学习28
2．1计算机视觉28
2．1．1人类视觉的启迪28
2．1．2计算机视觉的难点和人工神经网络29
2．1．3深度学习30
2．1．4前深度学习时代的计算机视觉31
2．1．5仿生学角度看深度学习31
2．1．6应用深度学习解决计算机视觉问题32
2．2深度学习在视觉上的应用33
2．2．1人脸识别33
2．2．2图片问答问题33
2．2．3物体检测问题34
2．2．4物体跟踪36
2．3计算机视觉的学习方式和未来趋势36
2．4机器学习37
2．4．1机器学习发展的历程37
2．4．2机器学习的步骤38
2．4．3机器学习的分类38
2．4．4机器学习的基本算法40
第3章深度神经网络的基础42
3．1生物神经元42
3．2人工神经元43
3．2．1人工神经元的数学模型43
3．2．2人工神经网络44
3．2．3激活函数45
3．2．4神经元之间的连接形式46
3．2．5人工神经网络的分类47
3．3激活函数47
3．3．1sigmoid激活函数47
3．3．2tanh激活函数49
3．3．3relu激活函数50
3．3．4dropout激活函数53
3．4softmax处理分类问题54
3．4．1什么是softmax54
3．4．2softmax原理54
3．5损失函数56
3．5．1均值平方差56
3．5．2交叉熵56
3．5．3自定义损失函数57
3．6梯度下降法59
3．6．1梯度下降法的作用与分类59
3．6．2退化学习率61
3．7优化函数62
3．7．1随机梯度下降优化算法62
3．7．2基于冲量优化算法63
3．7．3Adadelta优化算法64
3．7．4Adam优化算法65
3．8拟合67
3．8．1过拟合和欠拟合68
3．8．2正则化的方法68
第4章全连接神经网络72
4．1前馈神经网络简介72
4．2感知机74
4．2．1感知机定义74
4．2．2学习策略78
4．2．3感知机学习算法78
4．3全连接83
4．3．1全连接结构83
4．3．2前向传播算法84
4．4线性模型的局限性87
4．5多层网络解决异域运算91
4．6全连接神经网络的经典实战93
第5章卷积神经网络99
5．1人类视觉原理99
5．2卷积运算100
5．2．1卷积运算101
5．2．2卷积函数实现102
5．2．3标注图像感兴趣的区域106
5．2．4池化运算107
5．2．5加强卷积特征提取110
5．3反卷积、反池化操作111
5．3．1反卷积操作111
5．3．2反池化操作114
5．4卷积神经网络的介绍117
5．4．1卷积神经网络的一般框架117
5．4．2卷积神经网络的训练119
5．4．3利用卷积神经网络实现数据集分类121
5．5图像数据处理126
5．5．1图像编码处理127
5．5．2翻转图像128
5．5．3图像色彩调整129
5．5．4图像标准化处理132
5．5．5调整图像大小133
5．5．6图像的标注框137
第6章高级卷积神经网络140
6．1LeNet-5卷积神经网络140
6．1．1LeNet-5模型140
6．1．2TensorFlow实现简单的卷积神经网络142
6．2AlexNet卷积神经网络145
6．2．1AlexNet概述145
6．2．2AlexNet结构148
6．2．3AlexNet实现150
6．3VGGNet卷积神经网络154
6．3．1VGGNet模型结构155
6．3．2VGGNet实现157
6．4Inceptionv3卷积神经网络162
6．4．1几种Inception模型162
6．4．2Inceptionv3原理及实现163
6．5ResNet卷积神经网络175
6．5．1ResNet模型结构175
6．5．2ResNet实现177
第7章循环神经网络184
7．1RNN基础概念和结构184
7．2RNN前后向传播算法186
7．2．1RNN前向传播186
7．2．2RNN后向传播187
7．3循环神经网络的梯度191
7．4LSTM单元193
7．4．1LSTM单元基本结构193
7．4．2LSTM的变体200
7．5RNN的实现201
7．6自然语言建模与词向量214
7．6．1统计学语言模型214
7．6．2独热编码217
7．6．3词向量与Word2vec217
7．7LSTM实现语音识别226
7．7．1语音特征介绍226
7．7．2算法流程227
7．7．3TensorFlow实现语音识别228
第8章对抗神经网络235
8．1理论知识235
8．1．1GAN网络结构235
8．1．2GAN原理236
8．1．3基本架构236
8．1．4GAN的特点及优缺点237
8．2DCGAN网络243
8．3InfoGAN网络248
8．4WGAN-GP网络255
8．4．1WGAN网络的理论255
8．4．2WGAN网络的改进WGAN-GP网络256
8．4．3WGAN-GP网络的实现257
8．5SRGAN网络260
8．5．1超分辨率技术260
8．5．2ESPCN网络实现数据的超分辨率重建261
第9章其他监督学习264
9．1支持向量机264
9．1．1支持向量机的含义264
9．1．2线性不可分支持向量机与核函数273
9．1．3SMO原理及实现280
9．2朴素贝叶斯286
9．2．1统计学知识286
9．2．2朴素贝叶斯的模型287
9．2．3朴素贝叶斯的推断过程287
9．2．4朴素贝叶斯的参数估计288
9．2．5朴素贝叶斯算法过程289
9．2．6朴素贝叶斯的实现290
9．3决策树292
9．3．1认识决策树293
9．3．2ID3算法的介绍294
9．3．3C4．5算法的介绍296
9．3．4决策树的实现297
9．4k近邻算法300
9．4．1kNN算法三要素300
9．4．2kd树实现原理301
9．4．3kNN算法的优缺点302
9．4．4kNN算法的实现303
第10章非监督学习305
10．1主成分分析305
10．1．1PCA思想305
10．1．2基于最小投影距离306
10．1．3基于优选投影方差307
10．1．4PCA算法流程308
10．1．5PCA的优缺点308
10．1．6PCA的实现309
10．2k均值聚类312
10．2．1距离测试312
10．2．2k均值聚类原理317
10．2．3传统k均值算法流程318
10．2．4K-Means++聚类算法322
10．3自组织映射神经网络324
10．3．1自组织映射算法325
10．3．2与k均值的比较325
10．4受限玻尔兹曼机330
10．5谱聚类336
10．5．1谱聚类的基础知识336
10．5．2谱聚类之切图聚类339
10．5．3谱聚类算法的实现343
第11章自动编码机345
11．1自动编码机原理345
11．2标准自动编码机346
11．3稀疏自动编码机351
11．4去噪自动编码机355
11．5卷积自动编码机360
第12章强化学习366
12．1强化学习的概述366
12．2强化学习的学习过程367
12．3OpenAIGym原理及应用369
12．4Qlearning原理及应用371
12．5DQN原理及应用377
参考文献384