自然语言处理导论

自然语言处理是一门融计算机科学、语言学、数学、认知学、逻辑学于一体的研究学科。机器学习、深度学习方法持续地引领着自然语言处理的进步与发展。以ChatGPT为代表的语言模型更是展现出了强大的通用能力，亦离不开自然语言处理技术的发展积累。 《自然语言处理导论》内容源自中山大学开设的“自然语言处理”课程，以及作者的产业实践；主要介绍自然语言处理理论与技术，旨在让更多人了解和学习自然语言处理技术，让人工智能更好地为我们服务。

《自然语言处理导论》主要介绍自然语言处理理论与技术，旨在让更多人了解和学习自然语言处理技术，让人工智能更好地为我们服务。
《自然语言处理导论》共16章，包括自然语言理解基础和具体任务探索两部分，主要讲述了自然语言处理文本表示、分析、挖掘、推理等方面的相关概念、方法、技术和近期研究进展；详细介绍了文本分类、情感计算、知识抽取等基础方法；全面讲述了自动文摘、问答系统、机器翻译、社会计算、内容生成和跨模态计算等具体任务；最后讨论了深度学习前沿问题。
《自然语言处理导论》致力于帮助高等院校计算机相关专业学生牢固掌握自然语言处理的基本理论与技术，掌握如何分析文本信息、解决问题、完成相关研究的方法，以及了解自然语言处理的典型应用场景。

前言
第1章绪论
1.1基本概念
1.1.1语言学与语音学
1.1.2自然语言
1.1.3自然语言处理
1.2自然语言处理的发展历程
1.2.1自然语言处理的发展历史
1.2.2自然语言处理的研究现状
1.2.3自然语言处理的发展前景
1.3自然语言处理的基本方法
1.3.1理性主义方法
1.3.2经验主义方法
1.3.3对比分析
1.4自然语言处理的研究内容
1.4.1文本分类
1.4.2信息抽取
1.4.3文本摘要
1.4.4智能问答
第2章语言模型
2.1语言模型概述
2.2n-gram统计语言模型
2.2.1何为n-gram模型
2.2.2n-gram语言模型评估词序列
2.2.3n-gram统计语言模型的应用
2.2.4n-gram模型中n对性能的影响
2.2.5n-gram模型小结
思考题
参考文献
第3章神经网络和神经语言模型
3.1人工神经网络和神经语言模型
3.1.1人工神经网络
3.1.2神经语言模型
3.2卷积神经网络
3.2.1卷积神经网络结构
3.2.2卷积神经网络的文本处理
3.3循环神经网络
3.4递归神经网络
3.4.1递归神经网络的前向计算
3.4.2递归神经网络的训练方法
思考题
参考文献
第4章词和语义向量
4.1离散分布表示
4.1.1独热表示法
4.1.2词袋表示法
4.2分布式表示
4.2.1Word2vec
4.2.2矩阵分解
4.2.3GloVe
4.3文本特征选择法
4.3.1基于文档频率的特征提取法
4.3.2 χ2统计量
4.3.3信息增益法
4.3.4互信息法
4.4特征权重计算方法
4.4.1布尔权重
4.4.2绝对词频
4.4.3TF-IDF
思考题
参考文献
第5章预训练语言模型
5.1Transformer
5.2ELMo
5.3GPT
5.4BERT
5.5后BERT时代
思考题
参考文献
第6章序列标注
6.1马尔可夫模型
6.2条件随机场、维特比算法
6.2.1条件随机场的原理解析
6.2.2条件随机场的特性
6.3序列标注任务
6.3.1自动分词
6.3.2汉语自动分词中的基本问题
6.3.3歧义切分问题
6.3.4未登录词问题
6.4汉语分词方法
6.4.1基于词频度统计的分词方法
6.4.2N-最短路径方法
6.4.3基于词的n元语法模型的分词方法
6.4.4由字构词的汉语分词方法
6.4.5基于词感知机的汉语分词方法
6.4.6基于字的生成式模型和区分式模型相结合的汉语分词方法
6.4.7其他分词方法
6.5词性标注
6.5.1词性标注概述
6.5.2基于规则的词性标注方法
6.5.3基于统计模型的词性标注方法
6.5.4统计方法与规则方法相结合的词性标注方法
6.5.5词性标注的一致性检查
6.5.6技术评测
6.6命名实体识别
6.6.1基于条件随机场的命名实体识别方法
6.6.2基于多特征的命名实体识别方法


6.6.3基于神经网络的命名实体识别方法

……