大数据智能--大语言模型

本书是大数据新兴领域“ 十四五”高等教育教材。本 书展现了大语言模型技术的 整体框架和路线图，内容讲 解力求简明、准确、实用， 旨在为相关行业提供大模型 技术的中文参考资料，推动 我国相关人工智能技术的发 展。全书共13章，内容涉及 大模型的背景与基础知识、 预训练、微调与对齐、模型 使用、评测与资源等，同时 提供了相关代码示例与实验 工具包。 本书可供具有深度学习 基础的读者阅读与使用，既 可作为高等学校人工智能、 大数据、计算机类专业教材 ，也可作为相关从业与研究 人员的参考用书。

第一部分 背景与基础知识 第1章 引言 1.1 语言模型的发展历程 1.2 大语言模型的能力特点 1.3 大语言模型关键技术概览 1.4 大语言模型对科技发展的影响 1.5 本书的内容组织 1.6 本书配套资源说明 第2章 基础介绍 2.1 大语言模型的构建过程 2.1.1 大规模预训练 2.1.2 指令微调与人类对齐 2.2 扩展定律 2.2.1 KM扩展定律 2.2.2 Chinchilla扩展定律 2.2.3 关于扩展定律的讨论 2.3 涌现能力 2.3.1 代表性的涌现能力 2.3.2 涌现能力与扩展定律的关系 2.4 GPT系列模型的技术演变 2.4.1 早期探索 2.4.2 规模扩展 2.4.3 能力增强 2.4.4 性能跃升 习题 第二部分 预训练 第3章 数据准备 3.1 数据来源 3.1.1 通用文本数据 3.1.2 专用文本数据 3.2 数据预处理 3.2.1 质量过滤 3.2.2 敏感内容过滤 3.2.3 数据去重 3.2.4 数据对预训练效果的影响 3.2.5 数据预处理实践 3.3 词元化（分词） 3.3.1 BPE分词 3.3.2 WordPiece分词 3.3.3 Unigram分词 3.3.4 分词器的选用 3.4 数据调度 3.4.1 数据混合 3.4.2 数据课程 3.4.3 预训练数据准备概述——以YuLan模型为例 习题 第4章 模型架构 4.1 Transformer模型 4.1.1 输入编码层 4.1.2 多头注意力层