人工智能大模型导论

本书采用理论与实训案例相结合的形式，深入浅出地介绍了大模型的基础知识。本书共分为8章，内容涵盖大模型的基础知识、传统语言模型基础知识、神经网络基础知识、大模型的主要技术、大模型的微调与部署、 大模型的应用，以及面对的挑战和未来发展等。在讲解理论知识的同时，辅以实训案例，聚焦核心技术与应用，引领AI技术新潮流 本书不仅适合作为高等院校人工智能、计算机科学与技术或相关专业学习大模型的入门教材，也适合从事相关工作的人工智能爱好者和工程师学习阅读。

史卫亚：博士，副教授，IEEE会员，CCF会员，INNS会员。2009年获得复旦大学计算机应用专业博士学位。2015—2016年在美国北卡罗来纳大学做访问学者，对机器学习、大数据检索、数据库、图像和视频处理、人工智能和模式识别等有深入研究。 刘田园：算法高级工程师，现就职于科大讯飞股份有限公司，并担任河南工业大学人工智能与大数据学院人工智能双师。具备多年算法开发经验，发表人工智能相关专利多篇，研究方向包括自然语言处理、计算机视觉、推荐系统、机器学习等。 刘婉月：人工智能硕士，高级工程师，就职于科大讯飞股份有限公司，拥有丰富的人工智能项目落地实践经验，主要研究方向包括机器翻译、自然语言处理和人工智能。

第 1 章 大模型概述 1.1 大模型概念及其发展 1.1.1 大模型基本概念 1.1.2 大模型的发展 1.1.3 大模型的分类 1.2 大规模语言模型的兴起 1.3 大规模语言模型的发展历程 1.3.1 大规模语言模型的定义 1.3.2 大规模语言模型的发展 1.3.3 大规模语言模型的主要类型 1.3.4 大规模语言模型的应用领域 1.4 大规模语言模型的特点及存在的问题 1.4.1 大规模语言模型的特点 1.4.2 大规模语言模型的涌现 1.4.3 存在的问题 1.5 视觉大模型 1.5.1 视觉大模型的发展 1.5.2 视觉大模型的主要应用 1.6 多模态大模型 1.6.1 多模态大模型的发展 1.6.2 多模态大模型的主要应用 1.7 案例实训 1.8 本章小结 1.9 课后习题 第 2 章 语言模型基础 2.1 统计语言模型 2.1.1 统计语言模型的定义 2.1.2 语言模型的评估指标 2.2 N-gram 模型 2.2.1 N-gram 模型数学基础 2.2.2 N-gram 例子 2.3 数据稀疏性与平滑技术 2.3.1 数据稀疏性 2.3.2 平滑技术 2.4 词袋模型 2.4.1 词袋模型的定义和构建步骤 2.4.2 词袋模型的应用 2.5 案例实训 2.5.1 实训项目 1：使用 N-gram 模型来判断一个句子的合法性 2.5.2 实训项目 2：使用词袋模型计算文本相似度 2.6 本章小结 2.7 课后习题 第 3 章 神经网络语言模型 3.1 神经网络基础 3.1.1 感知机 3.1.2 Sigmoid 神经元 3.1.3 神经网络架构 3.1.4 神经网络原理 3.2 循环神经网络 3.2.1 循环神经网络 3.2.2 循环神经网络的定义 3.2.3 循环神经网络的结构及原理 3.2.4 优缺点及应用场景 3.3 长短时记忆网络 3.3.1 输入门、遗忘门和输出门 3.3.2 LSTM 模型原理 3.4 词向量表示 Word2Vec 3.4.1 Word2Vec 的定义 3.4.2 CBOW 和 Skip-Gram 3.4.3 Word2Vec 优化策略 3.5 案例实训——基于 LSTM 的情感分类案例 3.6 本章小结 3.7 课后习题 第 4 章 大模型的技术发展 4.1 Transformer 模型介绍 4.2 自注意力机制 4.3 多头注意力 4.4 位置编码与掩码 4.4.1 位置编码 4.4.2 掩码 4.5 Transformer 模型的优化与变种 4.6 案例实训 4.6.1 实训项目 1：基于 Transformer 模型的中英文翻译系统 4.6.2 实训项目 2：搭建基础的 Transformer 模型中英文翻译系统 4.7 本章小结 4.8 课后习题 第 5 章 预训练语言模型 5.1 预训练语言模型概述 5.1.1 预训练语言模型的概念 5.1.2 预训练语言模型的基本原理 5.1.3 预训练语言模型的关键技术 5.1.4 预训练语言模型的应用场景 5.2 BERT 系列模型 5.2.1 BERT 模型的基本架构 5.2.2 模型微调 5.3 GPT 系列模型 5.3.1 GPT 发展历程 5.3.2 GPT 模型的基本架构 5.3.3 GPT 模型的训练 5.3.4 GPT 版本的主要改进 5.4 ChatGPT 模型 5.4.1 ChatGPT 的训练过程 5.4.2 ChatGPT 的应用场景 5.5 其他大规模预训练模型 5.6 案例实训 5.7 本章小结 5.8 课后习题 第 6 章 大模型的微调与部署· 6.1 数据集与预处理 6.1.1 数据集的选择 6.1.2 数据集的来源 6.1.3 数据集格式 6.1.4 数据集预处理 6.2 模型微调策略 6.2.1 指令微调 6.2.2 全微调 6.2.3 参数高效微调 6.3 提示工程 6.3.1 提示工程的定义 6.3.2 提示工程的关键要素 6.3.3 提示工程的其他技巧 6.3.4 提示工程的实际应用示例 6.3.5 提示工程的挑战与未来展望 6.4 检索增强生成 6.4.1 为什么要引入检索增强生成 6.4.2 检索增强生成的步骤 6.4.3 检索增强生成与微调的关系 6.5 模型压缩 6.6 模型部署 6.7 大模型的评估与测试 6.7.1 大模型的评估 6.7.2 大模型的测试 6.8 LangChain 框架 6.9 大模型应用开发的整体流程 6.9.1 大模型开发需要关注的问题 6.9.2 大模型开发的一般流程 6.10 案例实训 6.10.1 实训项目 1：通义千问大模型的部署 6.10.2 实训项目 2：ChatGLM3-6B 大模型的部署 6.11 本章小结 6.12 课后习题 第 7 章 大模型的应用 7.1 自然语言生成 7.2 问答系统 7.3 对话系统 7.4 专业领域的应用 7.4.1 法律领域 7.4.2 教育领域 7.4.3 金融领域 7.4.4 医疗领域 7.4.5 科学研究领域 7.4.6 工程技术领域 7.5 图像大模型的应用 7.5.1 安防监控 7.5.2 自动驾驶 7.5.3 医疗诊断 7.5.4 零售与电商 7.5.5 智慧农业 7.5.6 更多创新应用 7.6 基于大模型的智能体 7.6.1 智能体的概念与定义 7.6.2 智能体的工作原理 7.7 案例实训 7.7.1 实训项目 1：大模型预训练 + 微调实现简单对话 7.7.2 实训项目 2：增加强化学习的大模型预训练 + 微调实现简单对话 7.8 本章小结 7.9 课后习题 第 8 章 大模型的挑战与未来 8.1 计算资源的挑战 8.2 数据质量的挑战 8.3 模型的泛化能力与鲁棒性 8.4 数据隐私与伦理问题 8.5 大模型的可解释性 8.6 未来研究方向与趋势 8.7 案例实训 8.8 本章小结 8.9 课后习题 附录 常见大模型简介