TENSORFLOW智能算法与应用

TensorFlow是目前最受关注的机器学习框架，其模块化设计非常适合大数据环境下智能算法的开发与应用。本书介绍了使用TensorFlow进行智能算法的实践，包括经典的机器学习算法和深度学习算法实现。本书力求做到理论与实践平衡统一，在相关理论上深入浅出，辅以多种TensorFlow实现技术对理论进行具体实践，有助于读者快速理解与掌握智能算法的精髓和TensorFlow技术的要点。本书共4篇。入门篇介绍学习环境搭建和TensorFlow框架的基本使用；基础篇介绍传统智能算法及其TensorFlow的实现；进阶篇介绍深度神经网络方法和CNN、RNN、LSTM、GRU等基础的深度学习算法；应用篇介绍GAN学习算法和TensorFlowHub迁移学习。

胡鹤，中国人民大学信息学院副教授，在人工智能领域发表论文30多篇，主持了两项国家自然科学基金项目，拥有多项软件著作权。自2004年起负责主讲《人工智能》课程，在10多年的实际教学中，作者对深度学习方法相对传统人工智能方法的颠覆性发展有深刻的切身体会，也在教学中感受到学生学习深度学习算法和Tensorflow框架的极大热情。作者曾将人工智能小车引入课堂教学和课程项目，建立实践性强的人工智能实验平台，对多种智能算法进行实践和验证。通过建立有趣的智能应用项目，激发学生对Tensorflow智能算法的学习热情和实践动力。

目 录 入  门  篇 第1章  学习环境搭建 3 1.1  Docker工具箱 3 1.2 运行Docker镜像 6 1.3 Jupyter笔记本 10 1.3.1 Jupyter界面 10 1.3.2 Jupyter单元格 12 1.3.3 Jupyter模式 14 1.3.4 Jupyter常用指令 14 1.4 NumPy库 15 1.4.1 ndarray数据基础 16 1.4.2 ndarray广播运算 20 1.4.3 ndarray函数运算 22 1.4.4 ndarray索引切分 24 1.5 Pandas 25 1.5.1 Pandas基础对象 26 1.5.2 Pandas选择数据 29 1.5.3 Pandas 处理实例 31 1.6 Scikit-Learn 34 1.6.1 sklearn.datasets 34 1.6.2 Pandas处理 35 1.6.3 sklearn回归 36 第2章  TensorFlow入门 38 2.1 Hello TensorFlow 39 2.2 TensorFlow数据结构 39 2.3 TensorFlow计算-数据流图 40 2.3.1 常量节点（Constant） 42 2.3.2 占位符节点（Placeholder） 42 2.3.3 变量节点（Variable） 43 2.3.4 操作节点（Operation） 45 2.4 TensorFlow会话与基本操作 45 2.5 TensorFlow可视化 47 第3章  TensorFlow进阶 49 3.1 TensorFlow数据处理 50 3.1.1 索引计算 50 3.1.2 矩阵计算 51 3.1.3 形状计算 53 3.1.4 规约计算 54 3.1.5 分割计算 55 3.1.6 张量的形状 57 3.1.7 张量的运算 58 3.1.8 骰子游戏 61 3.2 TensorFlow共享变量 62 3.2.1 name_scope名字域 62 3.2.2 variablescope 变量域 63 3.3 TensorFlow模型配置 64 基  础  篇 第4章  线性回归算法 69 4.1 BOSTON 数据集 70 4.2 TensorFlow模型 72 4.2.1 准备数据 72 4.2.2 定义模型 72 4.2.3 训练模型 73 4.2.4 评估模型 73 4.2.5 可视化模型 73 4.3 Estimator模型 75 4.3.1 Dataset API 75 4.3.2 估算器介绍 76 4.3.3 准备数据 77 4.3.4 定义模型 78 4.3.5 训练模型 78 4.3.6 评估模型 78 4.3.7 可视化模型 79 4.4 Keras模型 81 4.4.1 定义模型 81 4.4.2 训练模型 81 4.4.3 评估模型 82 4.4.4 可视化模型 82 第5章  逻辑回归算法 84 5.1 线性回归到逻辑回归 84 5.2 最小二乘到交叉熵 86 5.3 MNIST数据集 88 5.4 TensorFlow模型 88 5.4.1 准备数据 89 5.4.2 定义模型 89 5.4.3 训练模型 90 5.4.4 评估模型 91 5.4.5 可视化模型 91 5.5 Estimator模型 92 5.5.1 准备数据 92 5.5.2 定义模型 93 5.5.3 训练模型 93 5.5.4 评估模型 93 5.5.5 可视化模型 94 5.6 Keras模型 95 5.6.1 准备数据 95 5.6.2 定义模型 96 5.6.3 训练模型 96 5.6.4 评估模型 96 5.6.5 可视化模型 97 第6章  算法的正则化 99 6.1 过拟合 99 6.2 正则化 99 6.3 编程实战 103 进  阶  篇 第7章  神经网络与深度学习算法 113 7.1 神经网络 113 7.1.1 激活函数 114 7.1.2 编程实战 119 7.2 神经网络训练 123 7.2.1 训练困难分析 124 7.2.2 编程实战 124 7.3 多类别神经网络 133 7.3.1 逻辑回归与深度网络 133 7.3.2 权重可视化 135 7.4 神经网络嵌入 136 7.4.1 一维数轴排列 137 7.4.2 二维数轴排列 137 7.4.3 传统类别表示 138 7.4.4 嵌入表示 140 第8章 卷积神经网络（CNN） 141 8.1 卷积神经网络简介 141 8.2 CNN与DNN 142 8.3 卷积操作 142 8.4 卷积实战 145 8.5 池化操作 149 8.6 池化实战 149 8.7 Relu非线性激活 150 8.8 TensorFlow卷积神经网络实战 151 8.9 Estimalor卷积神经网络实战 155 8.10 Keras卷积神经网络实战 159 第9章 循环神经网络（RNN） 162 9.1 循环神经网络简介 162 9.2 DNN、CNN与RNN 162 9.3 手工循环神经网络 164 9.4 static_rnn循环神经网络 165 9.5 dynamic_rnn循环神经网络 167 9.6 TensorFlow循环神经网络实战 169 9.7 Estimator循环神经网络实战 173 9.8 Keras循环神经网络实战 176 9.9 LSTM模型 178 9.10 GRU模型 180 第10章 自动编码器（AutoEncoder） 182 10.1 自动编码器简介 182 10.2 自动编码器与PCA 183 10.3 稀疏自动编码器 185 10.4 栈式自动编码器（SAE） 187 10.4.1 关联权重 190 10.4.2 分阶段训练 192 10.4.3 无监督预训练 194 10.5 降噪自动编码器（DAE） 198 10.6 变分自动编码器（VAE） 200 10.6.1 变分自动编码器原理 200 10.6.2 变分自动编码器生成数字 203 应  用  篇 第11章 生成式对抗网络 207 11.1 生成式对抗网络简介 207 11.2 GAN工作原理 207 11.3 GAN改进模型 209 11.4 GAN模型实战 212 11.5 GAN训练技巧 221 11.6 GAN未来展望 222 第12章  使用TensorFlow Hub进行迁移学习 223 12.1 图像迁移学习 223 12.2 文本迁移学习 224 12.3 完整的文本分类器 225 12.4 迁移学习分析 228

"前言 2017年12月15日，美国宇航局宣布首次发现在2千多光年之外的一个名为“开普勒90”的恒星周围有8颗行星组成的行星系统，构成了另一个“太阳系”。值得注意的是，这个重大的天文发现并不是由人类直接发现的，而是借助了谷歌公司的TensorFlow系统实现的智能算法，对开普勒望远镜获得的海量恒星亮度数据进行分析而得到的。该智能算法成功地学会了如何从海量天文数据中搜寻疑似的系外行星信号，对于系外行星信号的判断正确率达到了96%以上。该算法最终成功帮助人类定位出“开普勒90”太阳系。TensorFlow已经在不知不觉中改变了我们的世界。澳大利亚的科学家用TensorFlow开发的图像识别模型，在数万张的海洋航拍照片中，可以快速并且准确地找到珍惜的海牛。也有科学家利用TensorFlow把语音处理技术用到鸟类保护上，他们在丛林里安装了很多话筒，采集鸟类的声音，智能模型就可以很准确地估算出鸟类在一片森林中的数量，从而可以更加精准地对鸟类实行保护。 国内很多公司都在应用TensorFlow开发智能应用，京东内部搭建了TensorFlow训练平台，用于开发图像、自然语言相关的模型，并且把它们用到客服广告等领域。小米也在尝试类似的技术路线，支持他们生态线上各种特殊的应用。网易的有道笔记、有道翻译官也使用了TensorFlow视觉和语言的模型。中国电信在其营业厅APP应用中开发了充值卡扫描项目，使用TensorFlow搭建了CNN + LSTM + CTC的识别模型，使得用户打开摄像头对准充值卡密码轻松一扫即可完成充值。随着国家《新一代人工智能发展规划》的推动，在可预期的将来，还会有越来越多的公司和科研单位投入到TensorFlow的应用中来。 本书采用实例驱动的方式介绍TensorFlow框架下的智能算法开发。介绍重要的知识点（如线性回归模型、逻辑回归模型、CNN、RNN、LSTM、GAN等内容）时，紧接着就有对应代码来验证和解释算法的构造与运行过程。对这些经典的智能算法，本书提供了多种TensorFlow的框架技术实现案例，包括TensorFlow原生模型、TensorFlow Estimator模型和TensorFlow Keras模型等。通过对比不同的实现技术，可以更好地理解TensorFlow开发智能算法的技术路线。“工欲善其事，必先利其器”，学习人工智能最主要的任务就是理解智能算法的基础原理，掌握其实现技术并能够应用到自己的项目中去。本书的目的是力求通过官方权威资料，理论与实战项目相结合，使读者在练习中熟练掌握利用TensorFlow快速开发智能算法，并能够将算法转化为实际应用和项目。本书的定位就是为想在人工智能应用领域学习和工作的人士提供助力，本书适合智能算法初学者入门学习，同时也适合作为计算机及相关专业学生的教材和上机指导书。 为了让广大读者更好地理解和使用书中的示例代码，作者为大家提供了一个完全公开的GitHub代码库来维护本书的示例程序。该代码库的网址为https://github.com/ luckh2/tensorflow-algo。衷心地希望各位读者能够从本书中获益，这也是对我最大的支持和鼓励。对于书中出现的任何错误或者不准确的地方，欢迎大家批评指正，并发送邮件至luckh2@163.com。最后我想感谢家人的陪伴和支持，还要感谢所有为本书付出心血的电子工业出版社的编辑们，感谢电子工业出版社张迪老师的鼓励和帮助。感谢在写作过程中给予过我大力支持的所有人，没有你们的支持也就没有这本书的诞生。 作 者 2019年6月"