构建大模型数据科学应用(从机器学习升级到大模型数据科学与大数据技术)

过去，数据科学家与软 件工程师的职责泾渭分明。 随着LLM（大语言模型）时 代的到来，一切都变了。 ML（机器学习）不再是用 于数据分析的主要工具，而 成为现代软件应用的核心功 能。通过学习本书，数据科 学家不仅能全面了解LLM， 还能构建高效的、可再现的 、可扩展的LLM应用。 在两位顶尖数据科学家 的引导下，你将系统了解 LLM前沿技术的最新进展， 学习理论知识，以最负责任 的方式将LLM技术融入商业 场景；将构建一个LLM驱动 的应用，直观感受框架的实 际运作，掌握数据版本控制 、实验跟踪、模型监控和伦 理等知识点。 本书旨在为不同层级的 数据领域从业者提供助力， 使用前沿技术与方法论，全 方位呈现LLM应用，介绍最 佳技术实践。通过“数据优 先”视角，识别整合LLM并 驱动业务成功的机会。

\"Kristen Kehrer从2010年以来，一直为电子商务公司、医疗保健公司和公共事业部门构建和维护具有创新意义的、用于统计数据的ML模型方案。Kristen是Data Moves Me公司的创始人，2018年荣膺领英数据科学与分析领域顶尖影响力人物，拥有9.5万名数据科学领域的粉丝。Kristen获得了伍斯特理工学院的应用统计学专业硕士学位和数学专业学士学位。 Caleb Kaiser目前担任Comet的全栈工程师，也是Cortex Labs的创始成员。Caleb还曾在Scribe Media的作者平台团队工作，并获得了芝加哥艺术学院的艺术写作专业学士学位。\"

第1章 现代机器学习简介 1.1 数据科学与商业智能渐行渐远 1.2 从CRISP-DM过渡到最新的多组件ML系统 1.3 LLM提升了ML的能力和复杂度 1.4 你能从本书中学到哪些知识 第2章 一种端到端的方法 2.1 YouTube搜索智能体的组件 2.2 生产中使用的ML系统的核心原则 2.2.1 可观察性 2.2.2 可再现性 2.2.3 互操作性 2.2.4 可扩展性 2.2.5 可改进性 2.2.6 关于工具的注意事项 第3章 以数据为中心 3.1 基础模型的出现 3.2 现成组件的角色 3.3 数据驱动的方法 3.4 有关数据伦理的注意事项 3.5 构建数据集 3.5.1 使用向量数据库 3.5.2 数据版本控制和管理 3.5.3 开始使用数据版本控制工具 3.6 适度了解数据工程知识 第4章 LLM 4.1 选择LLM 4.1.1 我需要执行哪种类型的推理 4.1.2 这项任务是通用的还是专用的 4.1.3 数据的隐私级别有多高 4.1.4 该模型需要多高的成本 4.2 LLM实验管理 4.3 LLM推理 4.3.1 提示工程的基本原理 4.3.2 上下文学习 4.3.3 中间计算 4.3.4 RAG 4.3.5 智能体技术 4.4 用Comet ML优化LLM推理 4.5 微调LLM 4.5.1 微调LLM的时机 4.5.2 量化、QLoRA和参数高效微调 4.6 本章小结 第5章 合成一个完整的应用 5.1 用Gradio得到应用的雏形 5.2 使用Plotnine创建图形 5.2.1 添加选择框 5.2.2 添加徽标 5.2.3 添加选项卡 5.2.4 添加标题和副标题 5.2.5 更改按钮的颜色 5.2.6 添加下载按钮 5.2.7 将组件合在一起 5.3 将模型部署为API 5.3.1 用FastAPI实现API 5.3.2 实现Uvicorn 5.4 监控LLM 5.4.1 用Docker部署服务 5.4.2 部署LLM 5.5 小结 第6章 完成ML生命周期 6.1 部署一个简单的随机森林模型 6.2 模型监控简介 6.3 用Evidently AI监控模型 6.4 构建模型监控系统 6.5 有关监控的总结 第7章 最佳实践 7.1 第一步：理解问题 7.2 第二步：选择和训练模型 7.3 第三步：部署和维护 7.4 第四步：协作与沟通 7.5 LLM的发展趋势 7.6 进一步的研究