大模型工程化：AI驱动下的数据体系

大模型在众多领域得到了广泛应用，促进了AI技术的整合和创新。然而，在实际应用过程中，直接将大模型应用于特定行业常常难以达到预期效果。本书详细阐述如何在游戏经营分析场景中利用大模型实现数据体系的建设。 本书分为6个部分，共16章。第1部分主要介绍大模型技术的发展与应用，从大模型的发展现状展开，重点介绍大模型与数据体系的相关知识。第2部分主要介绍大模型下的关键基础设施，涵盖湖仓一体引擎、湖仓的关键技术、实时数据写入和高效数据分析等内容。第3部分主要介绍大模型下的数据资产，围绕数据资产重塑、数据资产标准、数据资产建设、数据资产运营展开。第4部分主要介绍自研领域大模型的技术原理，涵盖领域大模型的基础、需求理解算法、需求匹配算法、需求转译算法等内容。第5部分主要介绍大模型的工程化原理，涉及工程化的基础、技术筹备、建设要点、安全策略等内容。第6部分介绍大模型在游戏领域的应用，通过游戏领域的经营分析案例，系统地阐述如何实现业务需求。 本书适合致力于大模型技术应用的数据工程师阅读，也适合寻求AI自动化编程解决方案的软件开发者阅读，还适合希望利用AI提升业务效率的企业决策者阅读。

张凯，腾讯专家工程师，主要从事游戏的大数据分析工作。具有10多年的互联网从业经验，先后负责游戏安全对抗、反欺诈对抗、游戏大数据应用等项目。曾主编3本畅销图书，荣获异步社区“2023年度影响力作者奖”。 司书强，腾讯资深专家工程师，负责游戏业务的数据工程、数据分析等工作。在大数据技术工程、数据分析、商务智能、企业级数据治理等领域有10年以上的实践积累，主导并落地多个大型企业数据体系建设。 刘岩，腾讯资深专家工程师，前三一重工智能制造研究院院长。目前负责腾讯游戏AI驱动下的数据体系建设工作，曾负责全球“灯塔工厂”建设。在数据驱动业务、业务流程重构、数据智能应用等领域有20年以上的工作经验，主导和落地多个大型企业数字化转型项目。 张昱，腾讯资深工程师，主要从事游戏大模型、大数据应用等工作。具有10年大数据、数仓技术和数据分析领域从业经验，曾先后负责云产品研发、大数据治理、湖仓一体和大模型应用等项目。 戴诗峰，腾讯资深工程师，主要从事游戏的数据治理规划与架构工作。具有近20年的数据领域工作经验，参与多个领域大数据平台和数据治理的咨询与交付工作，擅长数据资产体系、数据资产持续运营、数据治理标准等方面的规划与设计。 谢思发，腾讯资深工程师，主要从事游戏行业的算法研究工作。具有8年以上的大数据搜索推荐实战经验，曾先后负责游戏用户画像建设、推荐系统建设及游戏知识图谱（游谱）系统的建设与应用。曾发表多篇学术论文和专利，在OGB挑战赛等国际赛事中获得佳绩。 李飞宏，腾讯专家工程师，主要从事游戏的大数据平台研发及治理工作。具有10多年的大数据行业从业经验，曾先后负责游戏大数据分析平台、游戏数据治理平台、游戏大数据应用等项目，主编并参与多个腾讯数据治理标准的编写工作。

目 录 第 1部分 大模型技术的发展与应用 第 1章 大模型的发展现状 2 1.1 大模型的发展历程 2 1.2 大模型的市场规模 6 1.3 大模型技术的应用现状 8 1.3.1 通用大模型技术的应用 8 1.3.2 领域大模型技术的应用 10 1.4 小结 14 第 2章 大模型与数据体系 15 2.1 业务对数据体系的需求 15 2.2 经典数据中台解决方案 19 2.2.1 技术平台 19 2.2.2 数据建模 21 2.2.3 数据治理 26 2.3 大模型带来的新机会 27 2.3.1 大模型的优势与不足 27 2.3.2 大模型与经典数据中台 30 2.3.3 大模型的新思路 32 2.4 全新的大模型解决方案 35 2.4.1 建设目标 35 2.4.2 关键技术 36 2.4.3 方案架构 37 2.5 小结 38 第 2部分 大模型下的关键基础设施 第3章 大模型下的新基建 40 3.1 湖仓一体引擎 40 3.1.1 数据技术的发展 41 3.1.2 湖仓一体架构 47 3.2 DeltaLH湖仓的关键技术 51 3.2.1 存储计算分离 51 3.2.2 数据冷热分层 53 3.2.3 湖仓一体化 55 3.3 实时数据写入 57 3.3.1 实时数据链路 58 3.3.2 全链路监控 62 3.3.3 数据预构建 64 3.4 高效数据分析 67 3.4.1 查询引擎优化 67 3.4.2 物化透明加速 72 3.5 小结 74 第3部分 大模型下的数据资产 第4章 数据资产重塑 76 4.1 数据资产方案的现状 76 4.2 面临的核心挑战 80 4.2.1 缺失非结构化标准 80 4.2.2 建设和治理成本高 81 4.2.3 运营目标不一致 82 4.3 重塑数据资产的思路 83 4.4 小结 85 第5章 数据资产标准 86 5.1 需求资产标准 86 5.1.1 结构化需求 87 5.1.2 行业知识资产 87 5.1.3 AI可理解需求 89 5.2 特征资产标准 90 5.2.1 个人特征资产 90 5.2.2 公共特征资产 91 5.3 库表资产标准 92 5.3.1 粒度参数 93 5.3.2 热度参数 94 5.3.3 速度参数 95 5.4 小结 96 第6章 数据资产建设 97 6.1 AI助力资产初始化 98 6.1.1 特征资产初始化 99 6.1.2 库表资产初始化 100 6.2 AI辅助需求资产建设 101 6.2.1 结构化需求资产建设 101 6.2.2 行业知识资产建设 102 6.2.3 AI可理解的需求资产建设 106 6.3 AI辅助特征资产建设 109 6.3.1 个人特征资产建设 109 6.3.2 公共特征资产建设 112 6.4 AI辅助库表资产建设 113 6.4.1 成本模型训练 114 6.4.2 物化视图候选集生成 115 6.4.3 物化视图推荐 115 6.5 小结 116 第7章 数据资产运营 117 7.1 数据资产运营的目标 117 7.2 需求资产运营 118 7.2.1 需求质量评估模型 119 7.2.2 需求质量达标率 119 7.3 特征资产运营 120 7.3.1 公共特征转化率 121 7.3.2 特征资产复用率 122 7.4 库表资产运营 123 7.4.1 库表资产成本优化 123 7.4.2 库表资产覆盖率 125 7.5 小结 126 第4部分 自研领域大模型的技术原理 第8章 领域大模型的基础 128 8.1 领域大模型的背景 128 8.1.1 通用大模型的局限性 128 8.1.2 领域大模型的优势 130 8.2 领域大模型方案 131 8.2.1 3种构建方案 131 8.2.2 检索增强生成 132 8.2.3 参数高效微调 137 8.2.4 模型选型 143 8.3 领域大模型架构 144 8.4 小结 145 第9章 需求理解算法 146 9.1 从模糊需求到清晰需求 146 9.1.1 必要性 146 9.1.2 面临的挑战 148 9.2 常见的需求理解算法 148 9.2.1 传统Query理解算法 148 9.2.2 创新需求理解算法 149 9.3 需求理解算法的设计原理 150 9.3.1 构建业务知识库 151 9.3.2 构建需求理解链路 153 9.4 小结 155 第 10章 需求匹配算法 156 10.1 从需求到资产 156 10.1.1 必要性 156 10.1.2 面临的挑战 158 10.1.3 解决方案 159 10.2 召回算法 161 10.2.1 资产图谱 161 10.2.2 文本召回 166 10.2.3 向量召回 171 10.2.4 意图召回 173 10.2.5 召回粗排 178 10.3 精排算法 179 10.3.1 数据生成 179 10.3.2 模型微调 182 10.3.3 多LoRA部署 184 10.4 小结 188 第 11章 需求转译算法 189 11.1 从需求到查询 189 11.1.1 必要性 189 11.1.2 面临的问题 191 11.2 解决方案 191 11.2.1 传统的Text2SQL技术 191 11.2.2 创新的需求转译算法 192 11.3 实战原理 193 11.3.1 评测数据集 193 11.3.2 算法流程 195 11.4 小结 203 第5部分 大模型的工程化原理 第 12章 工程化的基础 206 12.1 工程化的背景 206 12.1.1 工程化的定义 206 12.1.2 工程化的理念 207 12.2 工程化的核心 208 12.3 工程化的建设思路 210 12.3.1 业务流程 210 12.3.2 系统架构 211 12.4 小结 213 第 13章 工程化的技术筹备 214 13.1 技术调研评估 214 13.2 大模型应用框架 216 13.2.1 核心层 217 13.2.2 社区组件层 218 13.2.3 应用层 220 13.2.4 技术生态层 221 13.3 提示词工程 221 13.3.1 少样本提示 222 13.3.2 链式思考提示 223 13.3.3 自调整提示 224 13.4 开发环境的准备过程 225 13.4.1 软件安装 225 13.4.2 依赖库安装 226 13.5 小结 227 第 14章 工程化的建设要点 228 14.1 明确构建目标 229 14.1.1 功能性需求 229 14.1.2 非功能性需求 230 14.1.3 流程定义 230 14.2 核心功能的实现 233 14.2.1 模块化架构 233 14.2.2 安全管控 236 14.2.3 工具模型 239 14.2.4 人机协同 246 14.2.5 应用场景 257 14.3 运营质量的评估指标 259 14.3.1 回归评估指标 259 14.3.2 资产运营指标 261 14.4 小结 262 第 15章 工程化的安全策略 263 15.1 安全体系建设要点 263 15.1.1 制度与流程 264 15.1.2 数据安全 264 15.1.3 运行安全 266 15.2 安全体系实施方案 268 15.2.1 数据分类分级方案 268 15.2.2 资产匿名化与脱敏方案 269 15.2.3 访问控制方案 270 15.2.4 监控告警方案 271 15.3 小结 272 第6部分 大模型在游戏领域的应用 第 16章 游戏领域的应用案例 274 16.1 游戏经营分析的背景 274 16.2 智能助手系统架构 275 16.3 代码生成应用 277 16.4 探索分析应用 288 16.5 小结 291