Tensorflow深度学习基础与应用

本书基于谷歌的深度学习框架tensorflow，深入讲解其语法特点，以及使用方法，并在此基础上选取了图像领域的多个应用进行深入讲解，原理由浅入深，算法推导细致到位，结合大量的图片，以及运行中间结果，进行了细致的分析。 本书基于谷歌的深度学习框架tensorflow，深入讲解其语法特点，以及使用方法，并在此基础上选取了图像领域的多个应用进行深入讲解，原理由浅入深，算法推导细致到位，结合大量的图片，以及运行中间结果，进行了细致的分析。

杨虹，重庆市半导体行业协会副理事长，重庆市电子学会常务理事，重庆市高校青年骨干教师。现任重庆邮电大学光电工程学院副院长。 谢显中，男，教授，工学博士，博士生导师。现为重庆邮电大学光电工程学院院长、重庆国际半导体学院执行院长，兼任计算机网络与通信技术信息产业部/重庆市重点实验室主任、重庆邮电大学个人通信研究所所长。

第1章 绪论 1 1.1　机器学习简介　1 1.2　机器学习流程　2 1.3　深度学习简介　3 第2章　TensorFlow简介与环境搭建　4 2.1　TensorFlow简介　4 2.2　TensorFlow 的语言支持　4 2.3　TensorFlow的安装和环境配置　5 2.3.1　Python安装　5 2.3.2　CUDA与CUDNN安装　11 2.4　TensorFlow安装　12 2.4.1　pip安装　12 2.4.2　Docker安装　13 2.5　测试TensorFlow　13 第3章　TensorFlow入门　14 3.1　TensorFlow静态图模式　14 3.1.1　TensorFlow中的张量类型　14 3.1.2　TensorFlow的操作符简介　17 3.1.3　TensorFlow的Graph和 Session　23 3.2　TensorFlow动态图模式　27 3.3　TensorFlow 损失函数　28 3.3.1　交叉熵　28 3.3.2　均方误差　29 3.3.3　KL散度　29 3.4　TensorFlow优化器　30 3.5　TensorFlow训练数据输入　33 3.5.1　tf.data.Dataset　33 3.5.2　tf.data.Iterator　35 第4章　聚类算法　37 4.1　聚类算法简介　37 4.2　k均值聚类算法　38 4.2.1　算法步骤　38 4.2.2　准则函数　39 4.2.3　算法改进　39 4.3　k中心聚类算法　43 4.3.1　准则函数　43 4.3.2　算法步骤　43 4.3.3　算法对比　43 第5章　分类算法　45 5.1　分类算法简介　45 5.2　k近邻算法　45 5.2.1　算法步骤　46 5.2.2　投票算法改进　46 5.2.3　k参数选取　46 5.2.4　模型评价　47 5.3　朴素贝叶斯　49 5.3.1　算法步骤　50 5.3.2　概率处理　50 5.3.3　连续值概率计算　51 5.4　决策树　53 5.4.1　分裂函数　53 5.4.2　特征为连续特征　54 5.4.3　决策树终止条件　55 5.5　支持向量机　55 5.5.1　线性可分支持向量机　56 5.5.2　近似线性可分支持向量机　59 5.5.3　非线性支持向量机　60 5.5.4　常用核函数　60 5.5.5　多分类支持向量机　61 5.6　人工神经网络　61 5.6.1　激活函数　62 5.6.2　逻辑门设计　64 5.6.3　多层感知器　67 5.6.4　前向传播算法　67 5.6.5　反向传播算法　68 第6章　回归算法　72 6.1　线性回归　72 6.1.1　最小二乘法　72 6.1.2　广义逆　74 6.1.3　岭回归与Lasso回归　76 6.1.4　梯度求解算法　78 6.2　非线性回归　84 6.2.1　指数变换　84 6.2.2　对数变换　85 6.2.3　幂等变换　85 6.2.4　多项式变换　85 6.3　逻辑回归　85 6.3.1　二值逻辑回归　86 6.3.2　多元逻辑回归　89 6.4　决策树回归　91 6.4.1　代价函数　92 6.4.2　算法流程　92 6.4.3　举例　93 6.5　梯度算法　94 6.5.1　随机梯度下降法　95 6.5.2　牛顿法　96 第7章　MNIST数据集　99 7.1　MNIST数据集简介　99 7.2　LeNet的实现与讲解　101 7.2.1　网络参数设置和输入设置　101 7.2.2　LeNet网络模型详解　102 7.2.3　更简洁的实现　107 7.2.4　softmax层和网络更新方式　108 7.2.5　训练过程　108 7.3　FashionMNIST数据集　109 第8章　图像分类　110 8.1　图像分类的概念　110 8.2　图像分类的常用网络结构　111 8.2.1　AlexNet网络结构　111 8.2.2　VGGNet网络结构　113 8.2.3　Network In Network网络 结构　114 8.2.4　GoogLeNet网络结构　117 8.2.5　ResNet网络结构　119 8.3　图像多标签分类实例　121 8.3.1　使用TFRecord生成训练 数据　121 8.3.2　构建多标签分类网络　122 8.3.3　多标签模型训练模型　125 第9章　目标检测　127 9.1　目标检测的概念　127 9.1.1　Faster R-CNN　127 9.1.2　YOLO　128 9.1.3　SSD　130 9.2　基于SSD的目标检测实例　131 9.2.1　基于VGG的SSD网络　131 9.2.2　坐标和类别预测　133 9.2.3　多尺度的预测拼接　133 9.2.4　损失函数与模型训练　133 第10章　图像检索应用　135 10.1　图像检索的基本概念　135 10.2　图像检索特征提取的常用方法　137 10.3　基于VGG的图像检索实例　140 10.3.1　使用TFRecord生成训练 数据　140 10.3.2　模型训练函数　141 10.3.3　检索系统构建　141 第11章　光学字符识别应用　143 11.1　光学字符识别的概念　143 11.2　光学字符识别的常用算法与 流程　144 11.2.1　文本检测环节　144 11.2.2　文本识别环节　145 11.3　基于CNN-RNN-CTC的光学 字符识别算法实例　146 11.3.1　光学字符识别训练数据 生成　146 11.3.2　使用TFRecord生成训练 数据　148 11.3.3　构建基于CNN-RNN-CTC 的光学字符识别网络　149 第12章　中文分词　152 12.1　自然语言处理　152 12.2　中文分词简介　153 12.2.1　BMES　153 12.2.2　BM12ES　154 12.3　文字单元嵌入表达　154 12.3.1　文字单元的独热嵌入表达　154 12.3.2　word2Vector　155 12.3.3　word2Vector代码实现　161