AI Agent应用与项目实战

随着大语言模型的日益火爆，各行各业都想把AI（人工智能）接入自己的业务场景，但是只依靠大语言模型就能解决业务场景的实际需求吗？要想真正使AI落地肯定少不了结合自己业务场景的数据，定制AI所承担的角色，给它配置上需要使用的工具并按照标准化的流程办事。那么，这些操作就可以使用本书介绍的Agent（智能体）来实现。《AI Agent应用与项目实战》使用通俗的语言讲解Agent核心组件的构建原理与应用流程，基于主流Agent框架（Coze、AutoGen Studio）进行案例应用实战，全流程解读如何基于实际业务场景打造专属Agent。为了使读者能够将Agent应用在自己的私有化场景中，本书还讲解了如何微调本地大语言模型并将本地大语言模型与Agent结合，从而帮助读者打造自己的私有助理。

唐宇迪，华东理工大学博士，精通机器学习算法，主攻计算机视觉方向，著有《跟着迪哥学Python数据分析与机器学习实战》一书，线上选课学员超过30万人，累计开发课程50余门，覆盖人工智能的各个热门方向。联通、移动、中信等公司的特邀企业培训导师，开展线下与直播培训百余场，具有丰富的授课经验。课程通俗易懂，擅长通过接地气的方式讲解复杂的算法问题。 尹泽明，北京邮电大学博士，多年来致力于人工智能、大数据、区块链等新一代信息技术的创新应用，曾主持过电信运营企业全国集中智能客服系统和基于区块链的身份认证系统的建设和运营工作，率先尝试和推动ASR、NLP、RPA等技术在面向公众用户和政企客户服务场景中的应用。

第1章 Agent框架与应用 1 1.1　初识Agent 1 1.1.1 感知能力 2 1.1.2 思考能力 2 1.1.3 动作能力 3 1.1.4 记忆能力 4 1.2　Agent框架 5 1.2.1 Agent框架理念 5 1.2.2 常用的Agent框架 6 1.3　Multi-Agent多角色协作 12 1.3.1 SOP拆解 12 1.3.2 角色扮演 13 1.3.3 反馈迭代 13 1.3.4 监督控制 13 1.3.5 实例说明 14 1.4　Agent应用分析 16 1.4.1 Agent自身场景落地 16 1.4.2 Agent结合RPA场景落地 19 1.4.3 Agent多态具身机器人 25 第2章 使用Coze打造专属Agent 29 2.1　Coze平台 29 2.1.1 Coze平台的优势 29 2.1.2 Coze平台的界面 30 2.1.3 Coze平台的功能模块 33 2.2　Agent的实现流程 34 2.2.1 Agent需求分析 34 2.2.2 Agent架构设计 35 2.3　使用Coze平台打造专属的NBA新闻助手 35 2.3.1 需求分析与设计思路制定 35 2.3.2 NBA新闻助手的实现与测试 36 2.4　使用Coze平台打造小红书文案助手 55 2.4.1 需求分析与设计思路制定 55 2.4.2 小红书文案助手的实现与测试 55 第3章 打造专属领域的客服聊天机器人 71 3.1　客服聊天机器人概述 71 3.1.1 客服聊天机器人价值简介 71 3.1.2 客服聊天机器人研发工具 72 3.2　AI课程客服聊天机器人总体架构 74 3.2.1 前端功能设计 76 3.2.2 后端功能设计 78 3.3　AI课程客服聊天机器人应用实例 86 第4章 AutoGen Agent开发框架实战 88 4.1　AutoGen开发环境 89 4.1.1 Anaconda 89 4.1.2 PyCharm 89 4.1.3 AutoGen Studio 89 4.2　AutoGen Studio案例 91 4.2.1 案例介绍 91 4.2.2 AutoGen Studio模型配置 91 4.2.3 AutoGen Studio技能配置 95 4.2.4 AutoGen Studio本地化配置 117 第5章 生成式代理——以斯坦福AI小镇为例 131 5.1　生成式代理简介 131 5.2　斯坦福AI小镇项目简介 133 5.2.1 斯坦福AI小镇项目背景 133 5.2.2 斯坦福AI小镇设计原理 133 5.2.3 斯坦福AI小镇典型情景 134 5.2.4 交互体验 135 5.2.5 技术实现 136 5.2.6 社会影响 138 5.3　斯坦福AI小镇体验 139 5.3.1 资源准备 139 5.3.2 部署运行 139 5.4　生成式代理的行为和交互 146 5.4.1 模拟个体和个体间的交流 146 5.4.2 环境交互 148 5.4.3 示例“日常生活中的一天” 149 5.4.4 自发社会行为 150 5.5　生成式代理架构 151 5.5.1 记忆和检索 152 5.5.2 反思 154 5.5.3 计划和反应 156 5.6　沙盒环境实现 158 5.7　评估 160 5.7.1 评估程序 160 5.7.2 条件 161 5.7.3 分析 162 5.7.4 结果 163 5.8　生成式代理的进一步探讨 164 第6章 RAG检索架构分析与应用 167 6.1　RAG架构分析 168 6.1.1 检索器 168 6.1.2 生成器 169 6.2　RAG工作流程 169 6.2.1 数据提取 170 6.2.2 文本分割 170 6.2.3 向量化 171 6.2.4 数据检索 172 6.2.5 注入提示 172 6.2.6 提交给LLM 173 6.3　RAG与微调和提示词工程的比较 173 6.4　基于LangChain的RAG应用实战 174 6.4.1 基础环境准备 174 6.4.2 收集和加载数据 174 6.4.3 分割原始文档 175 6.4.4 数据向量化后入库 175 6.4.5 定义数据检索器 176 6.4.6 创建提示 176 6.4.7 调用LLM生成答案 176 第7章 RAG应用案例——使用RAG部署本地知识库 179 7.1　部署本地环境及安装数据库 182 7.1.1 在Python环境中创建虚拟环境并安装所需的库 182 7.1.2 安装phidata库 182 7.1.3 安装和配置Ollama 183 7.1.4 基于Ollama安装Llama 3模型和nomic-embed-text模型 184 7.1.5 下载和安装Docker并用Docker下载向量数据库的镜像 184 7.2　代码部分及前端展示配置 185 7.2.1 assistant.py代码 185 7.2.2 app.py代码 188 7.2.3 启动AI交互页面 194 7.2.4 前端交互功能及对应代码 195 7.3　调用云端大语言模型 203 7.3.1 配置大语言模型的API Key 205 7.3.2 修改本地RAG应用代码 206 7.3.3 启动并调用云端大语言模型 208 第8章 LLM本地部署与应用 212 8.1　硬件准备 212 8.2　操作系统选择 213 8.3　搭建环境所需组件 214 8.4　LLM常用知识介绍 217 8.4.1 分类 217 8.4.2 参数大小 217 8.4.3 训练过程 217 8.4.4 模型类型 217 8.4.5 模型开发框架 218 8.4.6 量化大小 218 8.5　量化技术 219 8.6　模型选择 220 8.6.1 通义千问 220 8.6.2 ChatGLM 220 8.6.3 Llama 220 8.7　模型应用实现方式 221 8.7.1 Chat 221 8.7.2 RAG 221 8.7.3 高效微调 221 8.8　通义千问1.5-0.5B本地Windows部署实战 222 8.8.1 介绍 222 8.8.2 环境要求 222 8.8.3 依赖库安装 223 8.8.4 快速使用 224 8.8.5 量化 226 8.9　基于LM Studio和AutoGen Studio使用通义千问 226 8.9.1 LM Studio介绍 226 8.9.2 AutoGen Studio介绍 226 8.9.3 LM Studio的使用 227 8.9.4 在LM Studio上启动模型的推理服务 229 8.9.5 启动AutoGen Studio服务 230 8.9.6 进入AutoGen Studio界面 230 8.9.7 使用AutoGen Studio配置LLM服务 231 8.9.8 把Agent中的模型置换成通义千问 232 8.9.9 运行并测试Agent 233 第9章 LLM与LoRA微调策略解读 235 9.1　LoRA技术 235 9.1.1 LoRA简介 235 9.1.2 LoRA工作原理 237 9.1.3 LoRA在LLM中的应用 237 9.1.4 实施方案 238 9.2　LoRA参数说明 238 9.2.1 注意力机制中的LoRA参数选择 238 9.2.2 LoRA网络结构中的参数选择 239 9.2.3 LoRA微调中基础模型的参数选择 241 9.3　LoRA扩展技术介绍 241 9.3.1 QLoRA介绍 241 9.3.2 Chain of LoRA方法介绍 242 9.4　LLM在LoRA微调中的性能分享 242 第10章 PEFT微调实战——打造医疗领域LLM 243 10.1　PEFT介绍 243 10.2　工具与环境准备 244 10.2.1 工具安装 244 10.2.2 环境搭建 247 10.3　模型微调实战 256 10.3.1 模型微调整体流程 256 10.3.2 项目目录结构说明 257 10.3.3 基础模型选择 258 10.3.4 微调数据集构建 259 10.3.5 LoRA微调主要参数配置 260 10.3.6 微调主要执行流程 262 10.3.7 运行模型微调代码 263 10.4　模型推理验证 264 第11章 Llama 3模型的微调、量化、部署和应用 267 11.1　准备工作 268 11.1.1 环境配置和依赖库安装 268 11.1.2 数据收集和预处理 270 11.2　微调Llama 3模型 271 11.2.1 微调的意义与目标 271 11.2.2 Llama 3模型下载 271 11.2.3 使用Llama-factory进行LoRA微调 273 11.3　模型量化 285 11.3.1 量化的概念与优势 285 11.3.2 量化工具Llama.cpp介绍 285 11.3.3 Llama.cpp部署 286 11.4　模型部署 291 11.4.1 部署环境选择 291 11.4.2 部署流程详解 292 11.5　低代码应用示例 293 11.5.1 搭建本地大语言模型 293 11.5.2 搭建用户界面 294 11.5.3 与知识库相连 297 11.6　未来展望 300