大模型驱动的研发效能实践

内容简介 这是一本从实践角度深入探讨如何利用大语言模型提升软件交付全生命周期效率与效能的实战性著作。全面细致地讲解了研发和运维人员需要掌握的大语言模型及其相关技术的原理，重点讲解了如何借助大模型实现DevOps、SRE、平台工程三大领域的智能化实践，覆盖开发、测试、运维、监控、安全、项目管理等软件开发全流程和全场景，通过丰富的实例展示了其在实际工作场景中的具体应用。 本书的独特之处在于它不仅涵盖了基础理论知识，如Transformer模型的基本原理及GPT系列模型的发展历程，更注重于实践应用，提供了从预训练到微调的完整方法论。书中特别强调了大语言模型在降低IT人员认知负荷方面的作用，通过集成多种工具和技术，帮助企业构建更加高效、智能的软件交付体系。此外，本书得到了来自企业级、学术界和研究机构近20位专家的一致好评。 通过阅读本书，你将： ?了解大语言模型的发展和起源 ?了解ChatGPT的相关内容，包括GPT模型的结构和完整实现 ?了解Transformer模型的基本原理 ?深入了解大语言模型的微调技术，软件交付的三大底座以及RAG的基本原理 ?探索大语言模型在运维场景中的实践 ?探索大语言模型在编程场景中的实践 ?探索大语言模型在测试场景中的实践 ?探索大语言模型在安全场景中的实践 ?接触前沿的技术趋势，了解实践中的具体方法，清晰看懂实践后的数据和数据

顾黄亮，资深DevOps/研发效能专家，有多年的运维研发经验，专注企业IT数字化转型和落地，致力于企业智慧运维体系的打造。现在就职于某持牌金融机构。中国商联专家智库入库专家、国家互联网数据中心产业技术创新战略联盟智库专家委员会副主任委员、江苏银行业和保险业金融科技专家委员会候选专家、工信部企业数字化转型IOMM委员会特聘专家、中国信通院可信云标准特聘专家、中国信通院低代码/无代码推进中心特聘专家，腾讯云最具价值专家TVP，阿里云最有价值专家MVP。著有畅销书《DevOps权威指南》《企业级DevOps实战案例：持续交付篇》《研发运营一体化（DevOps）能力成熟度模型》和《企业IT运维发展白皮书》核心作者，多个技术峰会演讲嘉宾。<br />郑清正，金融科技研究中心高级研究员，英国杜伦大学计算机系博士，英国斯旺西大学计算机软件工程硕士，曾任华为技术规划工程师、图像研究工程师。专注研究金融大数据风控、机器视觉等领域。 参与人脸识别、电信CRM、内存数据库等系统开发；发表论文3篇，授权专利3篇。<br />牛晓玲，DevOps标准工作组组长，DevOps 国际标准编辑人。长期从事开发运维方面的相关研究工作，包括云服务的运维管理系统审查等相关工作。参与编写《云计算服务协议参考框架》《对象存储》《云数据库》《研发运营一体化（DevOps）能力成熟度模型》《Y.3525　Cloud computing-Requirement for cloud service development and operation management 》《云计算运维智能化通用评估方法》等20余项国内标准和国际标准。参与评估DevOps能力成熟度评估超过50个项目，具有丰富的标准编制及评估测试经验。 <br />车昕，中国信通院云计算与大数据研究所政企数字化转型部副主任，主要从事企业数字化转型成熟度模型IOMM、可信数字化服务、数字基础设施一体化云平台、中台系列、低/无代码、组装式、安全生产、智慧运营等领域技术研究和转型咨询规划，制定相关标准、开展评估测试、组织技术实践交流等工作。

目　录　Contents<br />前言<br />本书赞誉<br />第1章　初识大语言模型1<br />1.1　大语言模型的发展1<br />1.2　常见的大语言模型3<br />1.2.1　统计学模型N-gram3<br />1.2.2　统计学模型HMM4<br />1.2.3　神经网络模型RNN6<br />1.2.4　自然语言处理中的传统模型<br />　　　LSTM7<br />第2章　大语言模型的基石—<br />　　Transformer10<br />2.1　Transformer模型的由来10<br />2.2　Transformer模型的基本原理11<br />2.2.1　词嵌入13<br />2.2.2　位置编码17<br />2.2.3　注意力机制20<br />2.3　Transformer注意力机制的技术<br />　　 实现24<br />2.3.1　自注意力机制的设计细节26<br />2.3.2　多头注意力机制的设计细节30<br />2.4　Transformer模型总结31<br />第3章　从Transformer到<br />　　　　ChatGPT33<br />3.1　ChatGPT的由来33<br />3.2　二元语法模型34<br />3.2.1　文本如何转换为数字35<br />3.2.2　如何设计模型35<br />3.2.3　如何训练模型38<br />3.3　GPT模型40<br />3.3.1　GPT模型的结构40<br />3.3.2　GPT模型的设计实践42<br />3.4　简单GPT模型的完整实现46<br />3.5　GPT模型的优化53<br />3.5.1　样本数据的精细化处理53<br />3.5.2　特殊符号的引入54<br />3.5.3　早停策略的应用56<br />3.5.4　模型训练中的强化学习57<br />3.6　GPT模型总结59<br />第4章　大语言模型的微调技术61<br />4.1　微调的基本概念61<br />4.1.1　适配器微调63<br />4.1.2　前缀微调64<br />4.1.3　LoRA65<br />4.1.4　QLoRA65<br />4.2　微调中的关键技术66<br />4.2.1　PEFT工具包66<br />4.2.2　LoRA67<br />4.3　微调技术的应用案例69<br />4.3.1　BERT分类模型69<br />4.3.2　基于BERT分类模型的微调78<br />4.3.3　QLoRA中使用的量化技术82<br />第5章　企业AI应用必备技术—<br />　　　　RAG85<br />5.1　RAG技术的基本原理85<br />5.2　RAG技术的应用案例87<br />5.2.1　客服问答系统87<br />5.2.2　财富管理系统88<br />5.2.3　RAG2SQL90<br />5.2.4　多智能体系统93<br />第6章　软件交付的三大底座100<br />6.1　DevOps100<br />6.1.1　DevOps的概念100<br />6.1.2　DevOps与企业和IT组织<br />　　　的关系101<br />6.1.3　DevOps究竟是什么103<br />6.1.4　DevOps的数字可视能力103<br />6.1.5　DevOps的科技左移能力104<br />6.1.6　DevOps的数字运营能力105<br />6.1.7　DevOps的弹性合作能力107<br />6.1.8　DevOps的数字风险能力107<br />6.1.9　大语言模型下的DevOps108<br />6.2　平台工程110<br />6.2.1　平台工程的概念110<br />6.2.2　平台工程的关键属性111<br />6.2.3　平台工程的核心模块115<br />6.2.4　平台工程的能力要求115<br />6.2.5　平台工程的最佳实践118<br />6.2.6　平台工程与DevOps、SRE<br />　　　的区别119<br />6.2.7　大语言模型下的平台工程120<br />6.3　SRE122<br />6.3.1　SRE的由来122<br />6.3.2　SRE的目标122<br />6.3.3　SRE团队的使命122<br />6.3.4　SRE团队的存在形式123<br />6.3.5　应用韧性架构设计124<br />6.3.6　构建可靠性设计126<br />6.3.7　变更评审设计128<br />第7章　大语言模型在运维场景中<br />　　　　　　　 的实践133<br />7.1　日志运维智能化133<br />7.1.1　日志的概念134<br />7.1.2　日志运维的基本流程134<br />7.1.3　日志运维的痛点136<br />7.1.4　如何解决日志运维的痛点137<br />7.2　智能运维知识库的构建146<br />7.2.1　构建运维知识库的难点和<br />　　　优势146<br />7.2.2　构建运维知识库的技术路径147<br />7.2.3　运维知识库的应用案例149<br />7.3　智能运维工单150<br />7.3.1　智能运维工单的作用151<br />7.3.2　构建智能运维工单的技术<br />　　　路径152<br />7.3.3　智能运维工单的应用案例154<br />7.4　大模型运维能力评测155<br />7.4.1　构建评测数据集155<br />7.4.2　评测工具和方法156<br />7.4.3　评测结果156<br />7.5　基于多智能体的微服务根因分析157<br />7.5.1　微服务架构的挑战157<br />7.5.2　多智能体系统158<br />7.5.3　多智能体系统的应用案例158<br />第8章　大语言模型在测试场景<br />　　　　　　 中的实践162<br />8.1　测试的痛点162<br />8.2　动态测试技术的智能化演进163<br />8.2.1　动态测试技术的基本概念163<br />8.2.2　常见的动态测试技术164<br />8.2.3　动态测试技术的痛点166<br />8.2.4　大模型在动态测试领域的<br />　　　应用尝试167<br />8.3　静态测试技术的智能化演进171<br />8.3.1　静态测试技术的基本概念171<br />8.3.2　常见的静态测试技术172<br />8.3.3　静态测试技术的痛点173<br />8.3.4　大模型在静态测试领域的<br />　　　应用尝试175<br />8.4　大语言模型在测试场景下的<br />　　落地难点178<br />8.4.1　大语言模型的处理窗口<br />　　　瓶颈179<br />8.4.2　模型的幻觉问题179<br />8.4.3　RAG与Agent的取舍179<br />8.4.4　基座模型的选择180<br />8.4.5　大语言模型微调的必要性180<br />8.4.6　模型的可解释性与透明性180<br />8.4.7　大语言模型在测试场景中的<br />　　　性能评估180<br />8.4.8　大语言模型的维护与更新181<br />8.5　基于静态分析和RAG的漏洞<br />　　自动化修复方案181<br />第9章　大语言模型在编程场景<br />　　　　　中的实践184<br />9.1　代码大模型184<br />9.1.1　代码大模型的定义和特点184<br />9.1.2　常见的代码大模型186<br />9.2　代码的下游任务188<br />9.2.1　文本到代码任务188<br />9.2.2　代码到代码任务189<br />9.2.3　代码到文本任务191<br />9.2.4　代码到模式任务191<br />9.2.5　文本到文本任务192<br />9.3　代码生成和补全192<br />9.3.1　代码生成和补全技术的<br />　　　发展历史192<br />9.3.2　常见的代码生成和补全技术193<br />9.3.3　基于可视化编排进行代码生<br />　　　成和补全194<br />9.3.4　基于输入输出样例进行代码<br />　　　生成和补全195<br />9.3.5　基于代码语料进行代码生成<br />　　　和补全196<br />9.3.6　基于功能描述进行代码生成<br />　　　和补全199<br />9.3.7　基于语言模型进行代码生成<br />　　　和补全200<br />9.3.8　代码生成与补全的痛点202<br />9.4　基于Agent的项目级代码生成<br />　　方法203<br />9.4.1　项目级代码生成在企业中<br />　　　的痛点203<br />9.4.2　Agent的技术实现204<br />9.4.3　事务自动处理在开发场景中<br />　　　的运用207<br />9.4.4　项目研发问答场景208<br />9.4.5　从需求到完整的项目级代码<br />　　　生成场景208<br />第10章　大语言模型在项目管理<br />　　　 　场景中的实践210<br />10.1　项目需求分析与任务规划210<br />10.1.1　需求分析211<br />10.1.2　任务规划213<br />10.2　沟通与协作214<br />10.2.1　沟通与协作的重要性215<br />10.2.2　大语言模型在沟通与协<br />　　　　作场景中的作用216<br />10.2.3　大语言模型提升沟通效率<br />　　　　和整合资源的能力218<br />10.3　项目风险管理与决策支持220<br />10.3.1　风险管理221<br />10.3.2　决策支持222<br />10.4　项目执行阶段的智能优化225<br />10.4.1　工作流程及资源管理的<br />　　　　挑战225<br />10.4.2　大语言模型如何赋能工作<br />　　　　流程及资源管理225<br />10.5　大语言模型在项目管理中的<br />　　 　实践案例227<br />10.5.1　辅助理解客户需求227<br />10.5.2　提升内部信息流转效率229<br />10.5.3　实现项目风险和进度的<br />　　　　自动分析功能231<br />10.5.4　助力任务分配的高效合理232<br />第11章　大语言模型在安全场景<br />　　　　中的实践235<br />11.1　大语言模型催生安全新范式235<br />11.1.1　大语言模型在安全领域中<br />　　　　的优势235<br />11.1.2　大语言模型在安全领域中<br />　　　　的挑战236<br />11.2　大语言模型在安全领域中的<br />　　　应用场景236<br />11.2.1　异常检测236<br />11.2.2　威胁识别与分类237<br />11.2.3　自动化威胁狩猎237<br />11.2.4　钓鱼攻击识别238<br />11.2.5　恶意软件检测238<br />11.2.6　入侵检测系统239<br />11.2.7　安全策略建议239<br />11.2.8　预测性威胁建模240<br />11.2.9　数据泄露预防240<br />11.2.10　安全教育与训练240<br />11.2.11　情报共享与协作241<br />11.2.12　合规性监控241<br />11.3　大语言模型在安全领域中的<br />　　　　　风险241<br />11.3.1　原生风险241<br />11.3.2　应用安全风险242<br />11.3.3　对抗风险243<br />11.4　大语言模型的零样本漏洞修复<br />　　　研究243<br />11.4.1　研究背景243<br />11.4.2　研究思路244<br />11.4.3　实验过程244<br />