大语言模型

大语言模型（Large Language Model，LLM） 是人工智能领域研究和应用的前沿焦点，现已成为 人工智能发展的新方向和新一代人工智能的基础设 施。本书较系统地介绍了语言大模型的基本内容， 主要包括发展语言大模型的三次热潮、深度学习基 础、注意力机制、残差链接与逐层归一化、 Transformer模型、预训练语言模型、LLM结构与训 练、迁移学习、人类反馈强化学习、元学习、GPT系 列LLM、BERT模型、T5模型、统一语言模型和提示 工程等。 本书适合作为本科院校相关专业的教材。

第1章 大语言模型概述 1.1 LLM的产生与发展 1.1.1 LLM的产生 1.1.2 LLM的发展 1.2 LLM的特点与分类 1.2.1 LLM的特点 1.2.2 LLM的分类 1.3 自然语言处理与LLM 1.3.1 自然语言处理 1.3.2 LLM的主要功能 1.3.3 LLM扩展法则 1.3.4 LLM的涌现现象与涌现能力 1.4 LLM技术 1.4.1 LLM基本技术 1.4.2 LLM关键技术 1.4.3 LLM知识体系与人工智能引擎 1.4.4 LLM的评价指标 1.5 LLM应用场景与LLM下游任务 1.5.1 LLM应用场景 1.5.2 LLM下游任务 1.5.3 LLM应用场景与LLM下游任务的区别 本章小结 第2章 深度学习基础 2.1 深度学习概述 2.1.1 深度学习的产生与发展 2.1.2 深度学习的内涵与外延 2.2 机器学习方式 2.2.1 监督式学习方式 2.2.2 无监督式学习方式 2.2.3 半监督式学习方式 2.2.4 强化学习方式 2.3 增强泛化能力方法 2.3.1 泛化能力与泛化误差 2.3.2 拟合 2.3.3 逼近正确拟合的方法 2.3.4 超参数和验证集 2.4 神经网络模型基础 2.4.1 神经网络模型及特点 2.4.2 学习方式与学习规则 2.4.3 神经网络学习原理 2.5 深度学习 2.5.1 神经网络与深度学习 2.5.2 深度学习在LLM中的应用 2.6 模型评价指标 2.6.1 混淆矩阵 2.6.2 评价模型的主要参数 本章小结 第3章 注意力机制 3.1 编码器?解码器架构 3.1.1 编码器功能与解码器功能