生成式AI实战基于Transformer、Stable Diffusion、LangChain和AI Agent

本书由浅入深地介绍了生成式AI的理论与实践，内容涉及从基础原理到前沿应用，为读者提供了一个系统的认知框架。本书从生成式AI技术的基础工具入手，逐步深入到Transformer模型与GPT的原理和应用，详细介绍了图像生成模型Stable Diffusion，以及LangChain与AI Agent的相关知识。书中结合开源代码分析，展示了生成式AI在各行各业的实际应用，并探讨了其在高速发展过程中所面临的伦理和隐私风险。 本书适合对生成式AI感兴趣的读者阅读，无论你是初学者还是有一定编程基础的人士，都能从中获得宝贵的知识和经验。对于零编程基础的读者，本书提供了跳过代码实现的理论学习路径。

吕云翔，北京航空航天大学软件学院副教授。具有多年的软件开发、项目管理、计算机教学经验，对IT行业具有较全面的认识，主编畅销图书多部。目前研究领域包括软件工程、人工智能、大数据等。

前言 第 1章 生成式AI基础 1 1.1 技术框架介绍 1 1.1.1 Python 1 1.1.2 TensorFlow 3 1.1.3 PyTorch 5 1.1.4 Hugging Face 8 1.1.5 扩展阅读 9 1.2 常见模型介绍 9 1.2.1 判别式模型 10 1.2.2 生成式模型 10 1.3 数据和任务 11 1.3.1 数据类型 12 1.3.2 常见任务 12 1.4 小结 17 第 2章 Transformer和GPT模型 19 2.1 Transformer简介 19 2.1.1 基本概念 19 2.1.2 关键技术 21 2.1.3 变种与扩展 22 2.1.4 资源与工具 23 2.1.5 扩展阅读 24 2.2 GPT模型基础 24 2.2.1 GPT模型的历史背景 24 2.2.2 GPT模型的核心技术 26 2.2.3 扩展阅读 26 2.3 如何使用ChatGPT 27 2.3.1 注册ChatGPT账号 27 2.3.2 ChatGPT操作方法 27 2.3.3 ChatGPT使用技巧 28 2.4 案例一：文本生成 29 2.4.1 初始化 29 2.4.2 加载ELI5数据集 29 2.4.3 预处理 31 2.4.4 训练 33 2.4.5 推理 34 2.5 案例二：文本总结 36 2.5.1 安装 36 2.5.2 加载数据集 37 2.5.3 预处理数据 40 2.5.4 微调模型 44 2.5.5 推理 46 2.6 案例三：文本分类 47 2.6.1 transformers库 48 2.6.2 具体应用 48 2.6.3 实际应用中的挑战 51 第3章 Stable Diffusion 53 3.1 Stable Diffusion简介 53 3.1.1 软件对比 54 3.1.2 计算机配置要求 55 3.1.3 安装步骤 55 3.1.4 基础操作 56 3.1.5 高级功能 58 3.2 Stable Diffusion入门 59 3.2.1 前期准备 60 3.2.2 加载Stable Diffusion 60 3.2.3 可视化Stable Diffusion的内部工作机制 64 3.2.4 Stable Diffusion理论的实际应用 66 3.2.5 Stable Diffusion的内部结构 73 3.3 Stable Diffusion的基础应用 84 3.3.1 从文本生成图像：用文字描绘视觉世界 84 3.3.2 图生图：Stable Diffusion的图像转换魔法 86 3.3.3 图像编辑：用AI技术重塑视觉记忆 87 3.3.4 制作视频：用AI赋予画面动态生命 88 3.4 文生图 88 3.4.1 流行的模型 89 3.4.2 配置pipeline参数 93 3.4.3 控制图像生成 96 3.4.4 优化操作 97 3.5 图生图 97 3.5.1 快速入门 97 3.5.2 流行的模型 98 3.5.3 配置pipeline参数 102 3.5.4 链式图像到图像pipeline 105 3.5.5 控制图像生成 109 3.6 图像修复 113 3.6.1 使用Diffusers进行图像修复 113 3.6.2 常用的模型 114 3.6.3 非特定修复的checkpoint 117 3.6.4 配置pipeline参数 122 3.6.5 串联修复pipeline 125 3.6.6 控制图像生成 128 3.7 小结 130 第4章 LangChain与AI Agent 131 4.1 LangChain与AI Agent简介 131 4.1.1 LangChain架构 133 4.1.2 使用LangChain构建AI Agent示例 134 4.2 LangChain关键组件 136 4.2.1 Module I/O 137 4.2.2 Retrieval 140 4.2.3 Agent 141 4.3 LCEL入门 141 4.4 LCEL的使用示例 144 4.4.1 基础原理 144 4.4.2 常用方式 148 4.5 RAG基础应用 150 4.5.1 RAG架构 150 4.5.2 设置 151 4.5.3 详细分析 153 4.6 Agent基础应用 158 4.6.1 搭建Agent 158 4.6.2 创建工具 159 4.6.3 创建提示 159 4.6.4 构建Agent 160 4.6.5 调用Agent 160 4.7 高级RAG应用程序 161 4.7.1 高级应用示例—添加聊天记录 162 4.7.2 构建环境 162 4.7.3 没有聊天历史的链条 163 4.7.4 情境化问题 164 4.7.5 有聊天历史的链条 165 4.8 小结 167 第5章 生成式AI开源应用案例 169 5.1 文本转博客 169 5.1.1 核心技术 169 5.1.2 应用与部署 173 5.2 智能填表QuickFill 174 5.2.1 页面介绍 174 5.2.2 用户使用指南 175 5.2.3 部署项目 176 5.3 使用Transformer处理多模态大语言模型 180 5.3.1 配置教程 181 5.3.2 使用Transformer 181 5.3.3 使用ModelScope 190 5.4 3D生成：Stable Diffusion和Generative Gaussian Splatting方法 192 5.4.1 配置流程 192 5.4.2 运行示例 193 5.4.3 关键原理解释 194 5.5 视频生成 195 5.5.1 简介 195 5.5.2 视频生成的原理 196 5.5.3 视频生成实践 197 5.5.4 视频优化 202 5.5.5 视频生成工具 203 5.5.6 视频生成的挑战 206 第6章 生成式AI行业应用 209 6.1 跨媒体内容创作 209 6.1.1 文本与图像结合 209 6.1.2 文本和视频结合 210 6.1.3 多媒体内容创作 211 6.2 商业广告设计 212 6.2.1 创新广告策略 213 6.2.2 定制化设计方法 213 6.3 金融应用 214 6.3.1 个性化的消费者体验 214 6.3.2 合规 215 6.3.3 风险管理 216 6.3.4 动态预测和报告 216 6.3.5 挑战 217 6.4 教育应用 217 6.4.1 学习体验定制 218 6.4.2 教育内容创新 219 6.4.3 赋能教师端 219 6.4.4 AI在教育中的挑战与局限性 219 6.5 在健康领域的应用 220 6.5.1 解决医疗资源获取和成本的问题 220 6.5.2 应用场景 222 6.5.3 新型医疗保健公司的市场 222 第7章 生成式AI伦理道德 225 7.1 常见的生成式AI伦理道德 问题 225 7.1.1 质量与性能 225 7.1.2 偏见与公平性 226 7.1.3 隐私 226 7.2 数据模型角度的分析 227 7.2.1 数据泄露 227 7.2.2 内容审查/有害内容 228 7.2.3 提示注入/防御 229 7.2.4 模型操纵 230 7.2.5 可解释性和透明度 230 7.3 一般性解决方案 231 7.3.1 Responsible AI在大语言模型应用开发中的应用 231 7.3.2 在大语言模型中建立防护栏 231 7.3.3 构建值得信赖的AI未来 231