深度序列模型与自然语言处理(基于TensorFlow2实践)

本书以自然语言和语音 信号处理两大应用领域为载 体，详细介绍深度学习中的 各种常用序列模型。在讲述 理论知识的同时辅以代码实 现和讲解，帮助读者深入掌 握相关知识技能。 本书共12章，不仅涵盖 了词向量、循环神经网络、 卷积神经网络、 Transformer等基础知识， 还囊括了注意力机制、序列 到序列问题等高级专题，同 时还包含其他书籍中较少涉 及的预训练语言模型、生成 对抗网络、强化学习、流模 型等前沿内容，以拓宽读者 视野。 本书既适合互联网公司 算法工程师等群体阅读，又 可以作为本科高年级或研究 生级别的自然语言处理和深 度学习课程的参考教材。

北京大学计算语言研究所硕士，在国内外会议和期刊上发表过多篇自然语言处理相关论文。曾负责网易有道离线神经网络机器翻译模块和 Kikatech 印度输入法引擎算法研发工作，并撰写相关专利。在知乎平台上回答深度学习和自然语言处理相关问题，多个回答获得编辑推荐，上万粉丝关注。

第1章 深度学习与自然话言处理概述 1.1 自然语言处理简史 1.1.1 自然语言处理能做什么 1.1.2 自然语言处理的发展史 1.2 深度学习的兴起 1.2.1 从机器学习到深度学习 1.2.2 深度学习框架 1.2.3 TensorFlow 2程序样例 第2章 词向量的前世今生 2.1 文本预处理的流程 2.2 前深度学习时代的词向量 2.2.1 独热向量 2.2.2 分布式表示 2.3 深度学习时代的词向量 2.3.1 词向量的分类 2.3.2 可视化词向量 2.3.3 词向量在下游任务中的使用 2.4 Word2vec数学原理 2.4.1 语言模型及其评价 2.4.2 神经网络概率语言模型 2.4.3 Word2vec原理 2.5 用TensorFlow实现Word2vec 2.5.1 数据准备 2.5.2 模型构建及训练 2.5.3 词向量评估与Gensim实践 第3章 循环神经网络之一：输入和输出 3.1 循环神经网络的输入和输出 3.1.1 循环神经网络的状态与输出 3.1.2 输入和输出一一对应 3.1.3 一对多和多对一 3.1.4 任意长度的输入和输出 3.2 区分RNN和RNNCell 3.2.1 基类Layer 3.2.2 RNNCell接口 3.2.3 RNN接口 3.3 简单循环神经网络实例 3.4 三种常见的RNN 3.4.1 SimpleRNN 3.4.2 LSTM 3.4.3 GRU 3.5 双向和多层RNN 3.5.1 双向RNN 3.5.2 单向多层RNN 3.5.3 双向多层RNN 第4章 循环神经网络之二：高级 4.1 在RNN中使用Dropout 4.1.1 全连接层中的Dropout …… 第5章 循环神经网络之三：实战技巧 第6章 序列到序列问题 第7章 注意力机制 第8章 超越序列表示：树和图 第9章 卷积神经网络 第10章 Transformer 第11章 预训练语言模型 第12章 其他复杂模型 参考文献 附录一 插图 附录二 算法 附录三 术语表