知识结构化：基于神经信息抽取的方法

知识结构化是知识工程领域的重要分支。本书专注于介绍基于神经网络的知识结构化技术，在内容上尽可能涵盖从基础概念到最新研究成果的各方面。全书共15章：第1章概述知识结构化的起源与发展；第2章讨论一些典型而常用的神经网络基础模型以及神经网络学习策略；第3~14章分别以实体、关系、实体关系三元组、事件为主题，介绍知识结构化技术研究的最新进展；第15章介绍基于神经信息抽取方法的知识结构化技术未来发展方向，并探讨其在大模型时代下面临的挑战与 机遇。

目录
第1章 知识结构化概述 1
1.1 知识工程 1
1.2 知识结构化 4
1.3 应用场景 8
1.4 国内外研究现状 9
1.4.1 知识图谱 10
1.4.2 实体抽取 14
1.4.3 关系抽取 15
1.4.4 三元组抽取 16
1.4.5 事件抽取 17
1.5 问题与挑战 17
1.6 内容组织结构 18
参考文献 20
第2章 神经网络基础 23
2.1 神经网络的技术优势 23
2.2 常用的神经网络模型组件 24
2.2.1 词向量 24
2.2.2 注意力机制 25
2.2.3 卷积神经网络 26
2.2.4 长短期记忆网络 26
2.2.5 门控循环单元 27
2.2.6 Transformer 网络 28
2.2.7 预训练语言模型 28
2.2.8 条件随机场 29
2.3 常用的神经网络学习策略 30
2.3.1 少样本学习策略 30
2.3.2 生成对抗训练策略 31
2.3.3 对比学习策略 32
参考文献 33
第3章 基于生成对抗训练方法的嵌套实体抽取框架 35
3.1 问题背景 35
3.2 相关工作 39
3.3 模型方法 40
3.3.1 预备知识 40
3.3.2 框架概述 41
3.3.3 抽取器 41
3.3.4 判别器 44
3.3.5 多任务训练和预测 45
3.4 实验与分析 46
3.4.1 数据集介绍 46
3.4.2 实验设置 46
3.4.3 总体结果 47
3.4.4 消融实验 47
3.4.5 实体标记的影响 49
3.5 本章小结 49
参考文献 50
第4章 基于混合多原型的少样本实体抽取 52
4.1 问题背景 52
4.2 相关工作 54
4.2.1 少样本学习 54
4.2.2 少样本实体抽取的解决方案 54
4.3 模型方法 55
4.3.1 预备知识 55
4.3.2 框架概述 56
4.3.3 序列扩充和嵌入 58
4.3.4 混合多原型表示 58
4.3.5 预测与训练 59
4.4 实验与分析 59
4.4.1 数据集介绍 60
4.4.2 实验设置 60
4.4.3 总体结果 61
4.5 本章小结 64
参考文献 64
第5章 基于多粒度交互对比学习的多模态实体抽取方法 67
5.1 问题背景 67
5.2 相关工作 69
5.2.1 多模态命名实体识别 69
5.2.2 多模态任务中的对比学习 71
5.3 模型方法 71
5.3.1 多模态表示 72
5.3.2 多粒度对比学习 73
5.3.3 多粒度交互 76
5.3.4 CRF解码器与损失函数 78
5.4 实验与分析 78
5.4.1 数据集介绍 78
5.4.2 实验设置 78
5.4.3 总体结果 79
5.4.4 显著性测试 79
5.4.5 消融实验 81
5.4.6 目标数量的影响 81
5.4.7 案例分析 82
5.5 本章小结 84
参考文献 85
第6章 基于概率图模型以及嵌入特征的命名实体消歧 88
6.1 问题背景 88
6.2 相关工作 90
6.2.1 命名实体识别 90
6.2.2 候选实体生成 90
6.2.3 候选实体排序 91
6.2.4本章消歧系统框架 92
6.3 模型方法 92
6.3.1 预备知识 92
6.3.2 指称-实体图 95
6.3.3 近似算法 96
6.4 实验与分析 98
6.4.1 数据集介绍 98
6.4.2 实验设置 99
6.4.3 总体结果 99
6.4.4 特征比较实验及结果 101
6.5 本章小结 102
参考文献 103
第7章 面向含噪数据的中文领域关系抽取 105
7.1 问题背景 105
7.2 相关工作 108
7.2.1 基于监督学习的关系抽取方法 108
7.2.2 基于依存路径的关系抽取方法 109
7.2.3 基于远程监督的关系抽取方法 109
7.2.4 面向含嗓文本的关系抽取方法 109
7.3 模型方法 110
7.3.1 预备知识 111
7.3.2 嵌入表示 114
7.3.3 卷积和最大池化 115
7.3.4 实体集成的注意力多实例学习方法 116
7.3.5 Softmax输出 117
7.4 实验与分析 118
7.4.1 数据集介绍 118
7.4.2 实验设置 119
7.4.3 保留评估 120
7.4.4 多实例学习方法对比 121
7.4.5 交叉验证 123
7.4.6 消融实验 124
7.4.7 人工评估 125
7.5本章小结 126
参考文献 127
第8章 基于远程监督的少样本关系抽取方法 130
8.1 问题背景 130
8.2 相关工作 134
8.2.1 基于远程监督的关系抽取方法 134
8.2.2 基于少样本学习的关系抽取方法 135
8.3 模型方法 136
8.3.1 预备知识 136
8.3.2 句子编码器 137
8.3.3 原型网络 141
8.4 实验与分析 141
8.4.1 数据集介绍 142
8.4.2 实验设置 142
8.4.3 总体结果 143
8.4.4 多实例学习方法对比 144
8.4.5 实例袋向量表示可视化 144
8.5 本章小结 145
参考文献 146
第9章 基于迁移排序模型的三元组抽取技术 149
9.1 问题背景 149
9.2 相关工作 152
9.2.1 基于实体关系联合抽取的方法 152
9.2.2 基于实体抽取的方法 152
9.2.3 基于关系分类的方法 153
9.3 模型方法 153
9.3.1 模型框架 153
9.3.2 实体抽M块 154
9.3.3 三部分标注方案 156
9.3.4 多层迁移模型 157
9.3.5 模型的训练和抽取 158
9.4 实验与分析 161
9.4.1 数据集介绍 161
9.4.2 实验设置 162
9.4.3 总体结果 163
9.5 本章小结 167
参考文献 167
第10章 融合对抗训练的端到端知识三元组联合抽取 171
10.1 问题背景 171
10.2 相关工作 173
10.2.1 流水线式方法 173
10.2.2 联合学习方法 174
10.2.3 对抗训练方法 174
10.3 模型方法 175
10.3.1 标注策略 176
10.3.2 表示层 177
10.3.3 双向长短期记忆网络编码层 178
10.3.4 自注意力层 179
10.3.5 长短期记忆网络解码层 179
10.3.6 Softmax分类层 181
10.3.7 对抗训练 182
10.4 实验与分析 183
10.4.1 数据集介绍 183
10.4.2 实验设置 183
10.4.3 总体结果 184
10.4.4 消融实验 187
10.4.5 误差分析 188
10.5 本章小结 189
参考文献 190
第11章 基于视图转移网络的少样本关系三元组抽取 193
11.1 问题背景 193
11.2 相关工作 195
11.2.1 基于监督学习的方法 195
11.2.2 基于少样本学习的方法 195
11.3 模型方法 196
11.3.1 模型框架 196
11.3.2 关系视图 197
11.3.3 实体视图 198
11.3.4 三元组视图 199
11.4 验与分析 200
11.4.1 数据集介绍 200
11.4.2 实验设置 201
11.4.3 总体结果 202
11.5 本章小结 205
参考文献 205
第12章 利用多语言线索进行事件检测的混合注意力网络 208
12.1 问题背景 208
12.2 相关工作 210
12.2.1 基于特征工程的事件检测方法 210
12.2.2 基于神经网络的事件检测方法 210
12.2.3 基于远程监督的事件检测方法 211
12.2.4 多语言方法 211
12.3 模型方法 211
12.3.1 多语言表示层 212
12.3.2 注意力层 213
12.3.3 训练与预测 215
12.4 实验与分析 216
12.4.1 数据集介绍 216
12.4.2 实验设置 216
12.4.3 总体结果 216
12.4.4 多语言的效果验证 219
12.5 本章小结 220
参考文献 221
第13章 基于差异性神经表示的事件检测方法 223
13.1 问题背景 223
13.2 相关工作 225
13.2.1 基于特征的方法 225
13.2.2 基于增强的方法 226
13.2.3 基于神经网络的方法 226
13.3 模型方法 227
13.3.1 模型框架 227
13.3.2 编码模块 228
13.3.3 对比学习模块 229
13.3.4 Mixspan模块 231
13.3.5 模型训练与预测 233
13.4 实验与分析 234
13.4.1 数据集介绍 234
13.4.2 实验设置 235
13.4.3 总体结果 236
13.5 本章小结 241
参考文献 241
第14章 基于分层策略网络的事件抽取方法 244
14.1 问题背景 244
14.2 相关工作 246
14.2.1 流水线式事件抽取方法 246
14.2.2 联合事件抽取方法 246
14.2.3 策略网络方法 247
14.3 模型方法 247
14.3.1 事件级策略网络 248
14.3.2 论元级策略网络 250
14.3.3 分雇训练 252
14.4 实验与分析 253
14.4.1 数据集介绍 253
14.4.2 实验设置 254
14.4.3 总体结果 254
14.4.4 分展框架的效果评估 255
14.4.5 策略网络的效果 256
14.5 本章小结 257
参考文献 257
第15章 知识结构化未来展望 259
15.1 总结 259
15.2 未来展望 262
15.2.1 实体抽取技术 262
15.2.2 三元组抽取技术 264
15.2.3 事件抽取技术 265
15.3 大语言模型技术 267
参考文献 268