自然语言处理基础与大模型(案例与实践)/中国科学院大学研究生教学辅导书系列

本书在简要介绍自然语 言处理代表性模型和方法的 基础上，通过具体案例详细 展现了相关模型和算法的实 现过程，并给出了可执行的 程序代码、数据集和运行结 果。全书内容既有经典的统 计语言模型，也有神经网络 基础模型和大语言模型前沿 技术。应用案例从情感分析 、信息抽取、自动摘要和文 本语义匹配，到阅读理解、 意图理解、文本生成和机器 翻译，全方位地展示自然语 言处理从理论到实践的全貌 。书中提供的所有代码都已 通过调试，并以Jupyter Notebook形式托管在百度 AI Studio星河社区上。读者 按照书中的说明就可以直接 使用AI Studio提供的免费计 算资源在线编译运行书中的 程序代码，为读者实践练习 提供了极大的便利。 本书可作为高等院校相 关专业高年级本科生和研究 生学习自然语言处理课程的 教学辅导书，也可供对自然 语言处理技术感兴趣的初学 者或者从事相关技术研发的 工程技术人员参考。

\"宗成庆，中国科学院自动化所研究员、博士生导师，中国科学大学岗位教授，ACL/ CAAI/ CCF Fellow，主要从事自然语言处理、机器翻译和语言认知计算等研究，主持国家项目10余项，发表论文200余篇，出版《统计自然语言处理》、《文本数据挖掘》和Text Data Mining三部专著及两部译著。现任国际计算语言学委员会（ICCL）委员，中国中文信息学会副理事长，荣获国家科技进步奖二等奖和多个省部级及国家一级学会的科技奖励，获得北京市优秀教师、中科院优秀导师和国科大李佩教学名师等若干荣誉。 赵阳，中国科学院自动化研究所助理研究员，中国中文信息学会开源情报技术专业委员会委员，研究方向为自然语言处理与机器翻译，作为负责人和参与人员，主持和承担国家自然基金、科技部重点研发计划和中国科学院先导计划等多项国家项目。 飞桨教材编写组，专注数据分析、商业战略、机器学习和人工智能等领域，出品过《大数据分析的道与术》《机器学习的思考故事》《零基础实践深度学习》和《如何系统化的分析业务和战略》等系列课程。 \"

第1章 绪论 1.1 自然语言处理方法概述 1.2 本书的内容组织 1.3 本书的实践平台 1.3.1 本地运行 1.3.2 AI Studio星河社区运行 1.3.3 本书使用的API 1.3.4 本书使用的数据集 第2章 神经网络基础 2.1 概述 2.2 神经元与感知机 2.2.1 神经元 2.2.2 感知机 2.2.3 常见的激活函数 2.3 前馈神经网络 2.4 卷积神经网络 2.4.1 卷积 2.4.2 池化 2.4.3 卷积神经网络 2.5 循环神经网络 2.5.1 简单循环神经网络 2.5.2 长短时记忆网络 2.5.3 门控循环单元 2.5.4 循环神经网络拓展知识 第3章 分布式表示 3.1 词的分布式表示 3.1.1 静态词向量 3.1.2 动态词向量 3.2 短语的分布式表示 3.3 句子的分布式表示 3.3.1 基于循环神经网络的表示方法 3.3.2 基于预训练语言模型的表示方法 第4章 序列生成模型 4.1 基于循环神经网络的Seq2Seq模型 4.1.1 基于RNN的Seq2Seq模型原理 4.1.2 解码策略 4.2 融合注意力机制的Seq2Seq模型 4.3 基于Transformer的Seq2Seq模型 4.3.1 自注意力模型 4.3.2 Transformer的网络结构 4.3.3 Transformer编码器 4.3.4 Transformer解码器 4.3.5 知识延伸:基于Transformer结构的模型 第5章 基础语言模型 5.1 统计语言模型 5.1.1 模型定义 5.1.2 数据平滑方法 5.1.3 语言模型评价 5.2 神经网络语言模型 5.2.1 前馈神经网络语言模型