自然语言理解(高等学校计算机专业系列教材)

本书系统介绍自然语言 处理（即自然语言理解）的 经典和前沿技术内容，包括 学科发展的简要背景、基础 的建模方法和典型的语言处 理任务。本书围绕语言模型 展开并贯穿其中，包括n元 语言模型、连续空间语言模 型（词嵌入）以及前沿的预 训练语言模型。 现代自然语言处理建立 在机器学习的基础之上。无 论针对传统机器学习还是针 对现代深度学习，本书统一 以结构化学习的脉络展开， 统一阐述典型的语言处理任 务的普遍性机器学习建模方 式，包括词切分、序列标注 以及树结构解析。同时，本 书以一种统一的观点梳理机 器学习和深度学习方法的要 点，服务于自然语言处理任 务的建模方法。最后，本书 综述了经典和前沿的语言处 理任务：句法分析、语义分 析、阅读理解和大语言模型 。以阅读理解为代表的自然 语言理解任务赋予传统的学 科自然语言理解新的内涵。 本书适合作为高等学校 相关专业高年级本科生和研 究生的自然语言理解相关课 程的教材，也可供自然语言 理解研究人员阅读参考。

第1章 自然语言处理概要 1.1 自然语言处理的概念和术语 1.1.1 自然语言 1.1.2 自然语言处理与自然语言理解 1.1.3 计算语言学 1.2 自然语言处理的技术性挑战 1.3 机器翻译 1.4 语言处理层次 1.5 应用型自然语言处理：人机对话系统 1.6 自然语言处理的学术出版体系 参考文献 第2章 n元语言模型 2.1 概率论基础 2.2 语言模型用于语言生成 2.3 n元语言模型的工作方式及马尔可夫假设 2.3.1 n元机制 2.3.2 马尔可夫假设 2.4 评价指标：困惑度 2.5 n元语言模型的平滑方法 2.5.1 Laplace平滑（加一平滑） 2.5.2 Good-Turing平滑 2.5.3 Jelinek-Mercer平滑 2.5.4 Katz平滑 2.5.5 Kneser-Ney平滑 2.5.6 Pitman-Yor语言模型 2.6 非n元机制的平滑方法 2.6.1 缓存 2.6.2 跳词 2.6.3 聚类 2.7 平滑方法的经验结果 2.8 n元语言模型的建模工具 参考文献 第3章 语言编码表示 3.1 独热表示 3.2 特征函数 3.3 通用特征模板 3.4 加权的独热表示：TF-IDF 参考文献 第4章 非监督的结构化学习 4.1 自然语言处理的方法构成 4.2 简单任务：词/子词切分 4.3 切分算法 4.3.1 通用切分框架 4.3.2 全局优度最大化：Viterbi解码算法 4.3.3 局部优度最大化：贪心解码算法 4.4 优度度量 4.4.1 频率 4.4.2 邻接多样性 4.4.3 分支熵 4.4.4 描述长度增益 4.4.5 点互信息 4.4.6 学生t测试 4.5 非监督分词 4.5.1 数据集和评估指标 4.5.2 词典预处理技巧 4.5.3 性能 4.6 推广的字节对编码切分算法 参考文献 第5章 结构化学习 5.1 机器学习的粒度和语言单元 5.2 结构化学习的必要性 5.3 自然语言处理中的结构化学习任务 5.4 退化为分类任务 5.5 结构分解 5.6 共时结构分解：图模型 5.7 历时结构分解：转移模型 5.8 两类结构化分解方式的优劣 5.9 结构化学习的简化情形 参考文献 第6章 结构上的标注任务 6.1 从结构标注到序列标注 6.2 局部马尔可夫模型 6.3 全局马尔可夫模型和条件随机场 6.3.1 全局马尔可夫模型 6.3.2 马尔可夫随机场 6.3.3 条件随机场 6.4 隐马尔可夫模型 6.4.1 从马尔可夫链到隐马尔可夫模型 6.4.2 隐马尔可夫模型的基本计算任务：概率估计 6.4.3 隐马尔可夫模型的训练：参数估计 6.4.4 隐马尔可夫模型的解码：Viterbi算法 6.5 自然语言处理中的结构标注任务 6.5.1 再标注的序列标注任务 6.5.2 词性标注任务的隐马尔可夫模型实现示例 6.5.3 推广的分词建模：不等单元的结构分解 参考文献 第7章 机器学习模型 7.1 机器学习模型的要素配置 7.2 损失函数 7.3 k近邻方法 7.4 感知机 7.5 铰链损失与支持向量机 7.5.1 最大化间隔 7.5.2 惩罚项导出的软边界 7.5.3 映射到高维空间 7.5.4 核函数 7.5.5 支持向量机的训练算法 7.5.6 多类支持向量机 7.5.7 支持向量机工具包 7.5.8 支持向量机总结 7.6 交叉熵损失与最大熵模型 7.6.1 最大似然估计：对数-线性模型 7.6.2 最大熵原理 7.6.3 平滑 7.6.4 最大熵模型的工具包 7.7 从神经元学习到神经网络 参考文献 第8章 深度学习模型 8.1 表示学习 8.2 连续空间语言模型：词嵌入或词向量 8.2.1 连续空间语言模型 8.2.2 连续空间语言模型的机器学习解释 8.2.3 Word2Vec和GloVe词嵌入 8.2.4 评估词向量 8.3 神经网络的结构配置 8.3.1 神经网络的拓扑连接方式 3.3.2 激活函数 8.4 深度学习模型的训练 8.4.1 训练目标：输出表示和损失函数 8.4.2 误差反向传播算法 8.4.3 深度学习的训练管理器 8.5 编码器-解码器建模 8.6 编码器架构：循环神经网络 8.6.1 循环神经网络的BPTT训练算法 8.6.2 长短时记忆网络 8.7 编码器架构：卷积神经网络 8.7.1 卷积 8.7.2 池化 8.7.3 卷积神经网络的结构 8.8 编码器架构：Transformer 8.8.1 自注意力机制 8.8.2 Transformer网络结构 8.9 编码器比较：RNN、CNN和Transformer 8.10 序列生成的解码过程 8.11 符号主义对阵联结主义 8.12 深度学习工具包 参考文献 第9章 预训练语言模型 9.1 从表示学习到自监督学习 9.2 从n元语言模型到预训练语言模型 9.3 输入单元管理 9.4 预训练语言模型的自回归解释 9.5 以编辑操作定义自监督学习 9.6 采样与预测目标的单元选择 9.7 编码器架构 9.8 预训练语言模型方法的普适化 9.9 预训