自然语言处理基础与大模型 案例与实践

本书在简要介绍自然语言处理代表性模型和方法的基础上，通过具体案例详细展现了相关模型和算法的实现过程，并给出了可执行的程序代码、数据集和运行结果。全书内容既有经典的统计语言模型，也有神经网络基础模型和大语言模型前沿技术。应用案例从情感分析、信息抽取、自动摘要和文本语义匹配，到阅读理解、意图理解、文本生成和机器翻译，全方位地展示自然语言处理从理论到实践的全貌，书中提供的所有代码都已通过调试，并以Jupyter Notebook形式托管在百度AI Studio星河社区上，读者按照书中的说明就可以直接使用AI Studio提供的免费计算资源在线编译运行书中的程序代码，为读者实践、练习提供了极大的便利。
本书可作为高等院校相关专业高年级本科生和研究生学习自然语言处理课程的教学辅导书，也可供对自然语言处理技术感兴趣的初学者或者从事相关技术研发的工程技术人员参考。

第1章绪论
1.1自然语言处理方法概述
1.2本书的内容组织
1.3本书的实践平台
1.3.1本地运行
1.3.2AI Studio星河社区运行
1.3.3本书使用的API
1.3.4本书使用的数据集
第2章神经网络基础
2.1概述
2.2神经元与感知机
2.2.1神经元
2.2.2感知机
2.2.3常见的激活函数
2.3前馈神经网络
2.4卷积神经网络
2.4.1卷积
2.4.2池化
2.4.3卷积神经网络
2.5循环神经网络
2.5.1简单循环神经网络
2.5.2长短时记忆网络
2.5.3门控循环单元
2.5.4循环神经网络拓展知识
第3章分布式表示
3.1词的分布式表示
3.1.1静态词向量
3.1.2动态词向量
3.2短语的分布式表示
3.3句子的分布式表示
3.3.1基于循环神经网络的表示方法
3.3.2基于预训练语言模型的表示方法
第4章序列生成模型
4.1基于循环神经网络的Seq2Seq模型
4.1.1基于RNN的Seq2Seq模型原理
4.1.2解码策略
4.2融合注意力机制的Seq2Seq模型
4.3基于Transformer的Seq2Seq模型
4.3.1自注意力模型
4.3.2Transformer的网络结构
4.3.3Transformer编码器
4.3.4Transformer解码器
4.3.5知识延伸： 基于Transformer结构的模型
第5章基础语言模型
5.1统计语言模型
5.1.1模型定义
5.1.2数据平滑方法
5.1.3语言模型评价
5.2神经网络语言模型
5.2.1前馈神经网络语言模型
5.2.2循环神经网络语言模型
5.2.3语言模型与词向量
第6章预训练大模型
6.1GPT语言模型
6.1.1GPT模型预训练
6.1.2GPT在下游任务中的应用
6.2BERT语言模型
6.2.1BERT模型的预训练任务
6.2.2BERT在下游任务中的应用
6.3ERNIE 语言模型
6.4预训练大模型
6.4.1基础大模型
6.4.2指令微调
6.4.3基于人类反馈的强化学习
第7章词语切分
7.1基于BERT实现中文分词
7.1.1任务目标
7.1.2实现思路及流程
7.1.3数据处理
7.1.4模型构建
7.1.5训练配置
7.1.6模型训练
7.1.7模型评估
7.1.8模型预测
7.2基于BPE算法实现子词切分
7.2.1任务目标
7.2.2实现思路及流程
7.2.3构建BPE词表
7.2.4文本子词切分
7.2.5语料还原
7.3实验思考
第8章文本情感分类方法实践
8.1基于LSTM模型的情感分类方法
8.1.1任务目标
8.1.2实现思路及流程
8.1.3数据处理
8.1.4模型构建
8.1.5训练配置
8.1.6模型训练
8.1.7模型评估
8.1.8模型预测
8.2基于BERT模型实现情感分类
8.2.1数据处理
8.2.2模型构建
8.2.3训练配置
8.2.4模型训练
8.2.5模型评估
8.2.6模型预测
8.3基于BERT的属性级情感分类
8.3.1任务目标
8.3.2实现思路及流程
8.3.3属性和观点抽取
8.3.4属性级情感分类
8.3.5全流程模型推理
8.4实验思考
第9章信息抽取实践
9.1基于Bi-LSTM和CRF的命名实体识别方法
9.1.1任务目标和实现流程
9.1.2数据处理
9.1.3模型构建
9.1.4训练配置
9.1.5模型训练
9.1.6模型评估
9.1.7模型预测
9.2基于ERNIE-UIE实现实体关系抽取
9.2.1任务目标和实现流程
9.2.2数据处理
9.2.3模型构建
9.2.4训练配置
9.2.5模型训练
9.2.6模型评估
9.2.7模型预测
9.3实验思考
第10章文本语义匹配实践
10.1基于SimNet的文本语义匹配
10.1.1任务目标和实现流程
10.1.2数据处理
10.1.3模型构建
10.1.4训练配置
10.1.5模型训练
10.1.6模型评估
10.1.7模型预测
10.2基于RocketQA的文本语义匹配
10.2.1任务目标和实现流程
10.2.2数据处理
10.2.3模型构建
10.2.4训练配置
10.2.5模型训练
10.2.6模型评估
10.2.7模型预测
10.3实验思考
第11章基于PEGASUS的中文文本摘要实践
11.1任务目标和实现流程
11.2数据处理
11.2.1数据集确定
11.2.2数据加载
11.2.3将数据转换成特征形式
11.2.4构造DataLoader
11.3模型构建
11.4训练配置
11.4.1BLEU算法
11.4.2ROUGE算法
11.5模型训练
11.6模型评估
11.7模型预测
11.8实验思考
第12章基于ERNIE 3.0实现意图识别
12.1任务目标和实现流程
12.2数据处理
12.2.1数据集确定
12.2.2数据加载
12.2.3将数据转换成特征形式
12.2.4构造DataLoader
12.3模型构建
12.4训练配置
12.5模型训练
12.6模型评估
12.7模型预测
12.8实验思考
第13章机器阅读理解实践
13.1任务目标
13.2实现流程
13.3数据处理
13.3.1数据集确定
13.3.2数据加载
13.3.3将数据转换成特征形式
13.3.4构造DataLoader
13.4模型构建
13.5训练配置
13.6模型训练
13.7模型评估
13.8模型预测
13.9实验思考
第14章机器翻译实践
14.1任务目标和实现流程
14.2数据处理
14.2.1数据集确定
14.2.2数据加载
14.2.3将数据转换成特征形式
14.2.4构建DataLoader
14.2.5后处理
14.3模型构建
14.3.1嵌入层的代码实现
14.3.2组装Transformer模型
14.4训练配置
14.5模型训练
14.6模型评估
14.6.1数据读取
14.6.2权重加载
14.6.3模型评估
14.7模型预测
14.8实验思考
第15章基于大模型的自动问答实践
15.1任务目标和设计方案
15.2通过飞桨零代码开发工具实现
15.3通过PaddleNLP实现
15.3.1代码实现逻辑
15.3.2配置大模型
15.3.3配置向量检索模型
15.3.4定义document store
15.3.5构建文档索引
15.3.6构建问答应用
15.3.7(可选)在线推理部署
15.4实验思考
附录 术语与缩略语
参考文献