TENSORFLOW自然语言处理

深度学习应用所使用的大部分数据是由自然语言处理（NLP）提供的，而TensorFlow是目前比较重要的深度学习框架。面对当今巨量数据流中众多的非结构化数据，本书详细讲解如何将TensorFlow与NLP二者结合以提供有效的工具，以及如何将这些工具应用于具体的NLP任务。本书首先介绍NLP和TensorFlow的基础知识，之后讲解如何使用Word2vec及其高级扩展，以便通过创建词嵌入将词序列转换为深度学习算法可用的向量。本书还介绍如何通过卷积神经网络（CNN）和递归神经网络（RNN）等经典深度学习算法执行句子分类和语言生成等重要的NLP任务。你将学习如何在NLP任务中应用高性能的RNN模型（比如长期短期记忆单元），还将认识神经机器翻译，并实现一个神经机器翻译器。通过阅读本书，你将学到：•NLP的核心概念和各种自然语言处理方法•使用TensorFlow函数创建神经网络以完成NLP任务•将海量数据处理成可用于深度学习应用的单词表示•使用CNN和RNN执行句子分类和语言生成•使用*优选的RNN（如长期短期记忆）执行复杂的文本生成任务•从头开始编写一个真正的神经机器翻译器•未来的NLP趋势和创新

本书首先介绍NLP和TensorFlow基础知识，然后介绍如何使用Word2vec(包括高级扩展)创建单词嵌入，将单词序列转换为可由深度学习算法访问的向量。关于经典深度学习算法的章节，如卷积神经网络(CNN)和递归神经网络(RNN)，展示了句子分类和语言生成等重要的NLP任务。此外还介绍如何将高性能的RNN模型，如长短期记忆(long short memory, LSTM)单元应用于NLP任务，你还将探索神经机器翻译并实现一个神经机器翻译器。

图珊·加内格达拉（Thushan Ganegedara）目前是澳大利亚悉尼大学第三年的博士生。他专注于机器学习，喜欢深度学习。他喜欢危险，在未经测试的数据上运行算法。他还是澳大利亚初创公司AssessThreat的首席数据科学家。他在斯里兰卡莫拉图瓦大学获得了理学士学位。他经常撰写有关机器学习的技术文章和教程。此外，他还在日常生活中游泳来努力营造健康的生活方式。

译者序前言关于作者关于审阅者第1章  自然语言处理简介 11.1  什么是自然语言处理 11.2  自然语言处理的任务 21.3  传统的自然语言处理方法 31.3.1  理解传统方法 41.3.2  传统方法的缺点 71.4  自然语言处理的深度学习方法? 81.4.1  深度学习的历史 81.4.2  深度学习和NLP的当前状况 91.4.3  理解一个简单的深层模型—全连接神经网络 101.5  本章之外的学习路线 121.6  技术工具简介 141.6.1  工具说明 151.6.2  安装Python和scikit-learn 151.6.3  安装Jupyter Notebook 151.6.4  安装TensorFlow 161.7  总结 17第2章  理解TensorFlow 182.1  TensorFlow是什么 182.1.1  TensorFlow入门 192.1.2  TensorFlow客户端详细介绍 212.1.3  TensorFlow架构：当你执行客户端时发生了什么 212.1.4  Cafe Le TensorFlow：使用类比理解TensorFlow 232.2  输入、变量、输出和操作 242.2.1  在TensorFlow中定义输入 252.2.2  在TensorFlow中定义变量 302.2.3  定义TensorFlow输出 312.2.4  定义TensorFlow操作 312.3  使用作用域重用变量 402.4  实现我们的第一个神经网络 422.4.1  准备数据 432.4.2  定义TensorFLow图 432.4.3  运行神经网络 452.5  总结 46第3章  Word2vec——学习词嵌入 483.1  单词的表示或含义是什么 493.2  学习单词表示的经典方法 493.2.1  WordNet—使用外部词汇知识库来学习单词表示 503.2.2  独热编码表示方式 533.2.3  TF-IDF方法 533.2.4  共现矩阵 543.3  Word2vec—基于神经网络学习单词表示 553.3.1  练习：queen = king – he + she吗 563.3.2  为学习词嵌入定义损失函数 583.4  skip-gram算法 593.4.1  从原始文本到结构化的数据 593.4.2  使用神经网络学习词嵌入 603.4.3  使用TensorFlow实现skip-gram 673.5  连续词袋算法 693.6  总结 71第4章  高级Word2vec 724.1  原始skip-gram算法 724.1.1  实现原始skip-gram算法 734.1.2  比较原始skip-gram算法和改进的skip-gram算法 754.2  比较skip-gram算法和CBOW算法 754.2.1  性能比较 774.2.2  哪个更胜一筹：skip-gram还是CBOW 794.3  词嵌入算法的扩展 814.3.1  使用unigram分布进行负采样 814.3.2  实现基于unigram的负采样 814.3.3  降采样：从概率上忽视常用词 834.3.4  实现降采样 844.3.5  比较CBOW及其扩展算法 844.4  最近的skip-gram和CBOW的扩展算法 854.4.1  skip-gram算法的 854.4.2  结构化skip-gram算法 854.4.3  损失函数 864.4.4  连续窗口模型 874.5  GloVe：全局向量表示 884.5.1  理解GloVe 884.5.2  实现GloVe 894.6  使用Word2vec进行文档分类 904.6.1  数据集 914.6.2  用词向量进行文档分类 914.6.3  实现：学习词嵌入 924.6.4  实现：词嵌入到文档嵌入 924.6.5  文本聚类以及用t-SNE可视化文档嵌入 934.6.6  查看一些特异点 944.6.7  实现：用K-means对文档进行分类/聚类 954.7  总结 96第5章  用卷积神经网络进行句子分类 975.1  介绍卷积神经网络 975.1.1  CNN基础 975.1.2  卷积神经网络的力量 1005.2  理解卷积神经网络 1005.2.1  卷积操作 1005.2.2  池化操作 1035.2.3  全连接层 1045.2.4  组合成完整的CNN 1055.3  练习：在MNIST数据集上用CNN进行图片分类 1055.3.1  关于数据 1065.3.2  实现CNN 1065.3.3  分析CNN产生的预测结果 1085.4  用CNN进行句子分类 1095.4.1  CNN结构 1105.4.2  随时间池化 1125.4.3  实现：用CNN进行句子分类 1125.5  总结 115第6章  递归神经网络 1166.1  理解递归神经网络 1166.1.1  前馈神经网络的问题 1176.1.2  用递归神经网络进行建模 1186.1.3  递归神经网络的技术描述 1196.2  基于时间的反向传播 1196.2.1  反向传播的工作原理 1206.2.2  为什么RNN不能直接使用反向传播 1206.2.3  基于时间的反向传播：训练RNN 1216.2.4  截断的BPTT：更有效地训练RNN 1216.2.5  BPTT的：梯度消失和梯度爆炸 1226.3  RNN的应用 1236.3.1  一对一RNN 1236.3.2  一对多RNN 1236.3.3  多对一RNN 1246.3.4  多对多RNN 1246.4  用RNN产生文本 1256.4.1  定义超参数 1256.4.2  将输入随时间展开用于截断的BPTT 1256.4.3  定义验证数据集 1266.4.4  定义权重和偏置 1266.4.5  定义状态持续变量 1276.4.6  用展开的输入计算隐藏状态和输出 1276.4.7  计算损失 1286.4.8  在新文本片段的开头重置状态 1286.4.9  计算验证输出 1286.4.10  计算梯度和优化 1296.4.11  输出新生成的文本块 1296.5  评估RNN的文本结果输出 1306.6  困惑度：衡量文本结果的质量 1316.7  有上下文特征的递归神经网络：更长记忆的RNN 1326.7.1  RNN-CF的技术描述 1326.7.2