自然语言处理(原理方法与应用)/计算机技术开发与应用丛书

本书系统阐述自然语言 处理的基础知识，以及自然 语言处理高级模型应用等高 级知识。 全书共11章：第1～5章 为自然语言处理的基础知识 ，第6～11章将自然语言处 理知识应用于实战。书中主 要内容包括预训练模型、文 本分类、机器阅读理解、命 名实体识别、文本生成、模 型蒸馏与剪枝及损失函数等 知识。 书中包含大量应用示例 ，读者不仅可以学会理论知 识还可以灵活应用。书中示 例基于Linux与PyTorch环境 开发，读者在学习自然语言 处理知识的同时还可学会 PyTorch框架技术，内容完 整、步骤清晰，提供了工程 化的解决方案。 本书可作为有一定深度 学习基础的读者的入门书， 也可作为从事自然语言处理 算法工作的技术人员及培训 机构的参考书。

王志立，自然语言处理工程师，曾在国际与国内的学术会议上发表学术论文多篇，先后在腾讯等多家知名企业从事大数据与人工智能算法工作，运营和分享人工智能相关知识，曾获得多项人工智能比赛国家级奖项。 雷鹏斌，深圳大学硕士，华为AI算法工程师，主要从事chatops、知识图谱的研究与应用工作，对自然语言处理各项任务的研究与应用具有经验丰富。2019—2021年在国内知名竞赛的文本分类、命名实体识别、机器阅读理解、智能问答，以及文本生成任务中摘获大量荣誉。曾参与多项课题研究，在AAAI、中文信息学报等高影响力会议上发表多篇文章。 吴宇凡，腾讯算法应用研究员，长期从事业务安全和金融量化相关算法研究和实践，已发表国际顶级会议论文多篇，申请专利数篇。

第1章 导论 1.1 基于深度学习的自然语言处理 1.2 本书章节脉络 1.3 自然语言处理算法流程 1.4 小结 第2章 Python开发环境配置 2.1 Linux服务器 2.1.1 MobaXterm 2.1.2 使用MobaXterm连接远程服务器 2.1.3 在服务器上安装Python开发环境 2.1.4 使用Anaconda国内源 2.1.5 pip设定永久阿里云源 2.2 Python虚拟环境 2.3 PyCharm远程连接服务器 2.4 screen任务管理 2.5 Docker技术 2.6 小结 第3章 自然语言处理的发展进程 3.1 人工规则与自然语言处理 3.2 机器学习与自热语言处理 3.2.1 词袋模型 3.2.2 n-gram 3.2.3 频率与逆文档频率 3.3 深度学习与自然语言处理 3.4 小结 第4章 无监督学习的原理与应用（30min） 4.1 浅层无监督预训练模型 4.2 深层无监督预训练模型 4.2.1 BERT 4.2.2 Self-Attention Layer原理 4.2.3 Self-Attention Layer的内部运算逻辑 4.2.4 Multi-Head Self-Attention 4.2.5 Layer Normalization 4.2.6 BERT预训练 4.2.7 BERT的微调过程 4.3 其他预训练模型 4.3.1 RoBERTa 4.3.2 ERNIE 4.3.3 BERT_WWM 4.3.4 ALBERT 4.3.5 Electra 4.3.6 NEZHA 4.3.7 NLP预训练模型对比 4.4 自然语言处理四大下游任务 4.4.1 句子对分类任务 4.4.2 单句子分类任务 4.4.3 问答任务 4.4.4 单句子标注任务 4.5 小结 第5章 无监督学习进阶