Python大模型基础与智能应用

本书以应用为导向，将理论与实践相结合，深入浅出地介绍了Python与大模型的基本知识，以及将其应用到具体领域的方法。 本书共12章，第1章~第5章主要介绍Python基础知识及科学计算、数据处理、数据可视化、机器学习、集成学习与深度学习等方面的核心知识；第6章～第12章主要介绍基于Python的大模型基础及应用案例，包括BERT大语言模型、Chinese-CLIP多模态大模型、百度千帆大模型平台相关的应用案例、微调训练、云服务器加速训练、Streamlit Web开发和AI studio星河社区及腾讯云服务器部署、DeepSeek-R1/V3热门应用和智能体开发等前沿内容，应用案例包括对话聊天、文本分类、中文阅读理解、情感识别、图文互检、文生图、图生文、AI助教智能体等。本书提供课件PPT、数据和程序、练习题及参考答案等丰富的配套资源。

黄恒秋，2011年7月-2014年6月就职于深圳市国泰安信息技术有限公司，从事CSMAR数据库分析师、量化分析研究、软件策划及设计相关工作。2014年9月至今，广西民族师范学院数学与计算机科学学院专任教师，高级实验师、副教授，从事大数据分析与挖掘、金融数据挖掘、数学建模等相关课程教学工作。发表中文核心期刊论文3篇，其中EI源刊1篇。出版大数据分析相关专业教材3部，人民邮电出版社优秀作者，2024年广西优秀教材获得者，主持教育部产学研协同育人项目和省级教改项目3项，基于头歌实践教学平台建设教材配套的在线智慧实验课程3门。作为组织者和主要完成人荣获广西高等教育教学成果奖二等奖，指导学生参加互联网+创新创业大赛、挑战杯竞赛、数据挖掘竞赛、数学建模竞赛、计算机设计大赛、人工智能竞赛等获省部级以上奖励50余项。

第 1章 Python基础 1.1　Python概述　1 1.2　Python安装及启动　1 1.2.1　Python安装　1 1.2.2　Python启动及界面认识　4 1.2.3　Python安装扩展包　8 1.3　Python基本数据类型　9 1.3.1　数值的定义　9 1.3.2　字符串的定义　10 1.3.3　列表的定义　10 1.3.4　元组的定义　10 1.3.5　集合的定义　11 1.3.6　字典的定义　11 1.3.7　列表、元组、集合与字典之间的比较　12 1.4　Python相关的公有方法　12 1.4.1　索引　12 1.4.2　切片　13 1.4.3　长度　14 1.4.4　统计　14 1.4.5　成员身份　14 1.4.6　变量删除　15 1.5　列表、元组与字符串方法　15 1.5.1　列表方法　15 1.5.2　元组方法　17 1.5.3　字符串方法　18 1.6　字典方法　19 1.7　条件语句　20 1.7.1　if…语句　20 1.7.2　if…else…语句　21 1.7.3　if…elif…else…语句　21 1.8　循环语句　21 1.8.1　while语句　22 1.8.2　for循环　22 1.9　函数　22 1.9.1　无返回值函数的定义与调用　23 1.9.2　有返回值函数的定义与调用　23 1.9.3　有多返回值函数的定义与调用　23 本章小结　24 本章练习　24 第　2章 科学计算与数据处理 2.1　Numpy简介　26 2.2　Numpy数组创建　27 2.2.1　利用array()函数创建数组　27 2.2.2　利用内置函数创建数组　28 2.3　Numpy数组操作　29 2.3.1　数组尺寸　29 2.3.2　数组运算　30 2.3.3　数组切片　31 2.3.4　数组连接　33 2.3.5　数据存取　33 2.3.6　数组形态变换　34 2.3.7　数组排序与搜索　35 2.4　Pandas简介　36 2.5　Pandas数据结构　37 2.5.1　序列　37 2.5.2　数据框　41 2.6　Pandas外部文件读取　48 2.6.1　Excel文件读取　48 2.6.2　TXT文件读取　49 2.6.3　CSV文件读取　50 2.7　Pandas常用函数　51 2.7.1　时间处理函数　51 2.7.2　数据框合并函数　52 2.7.3　数据框关联函数　53 2.8　常见数据处理和计算任务　54 2.8.1　滚动计算　54 2.8.2　时间元素提取　55 2.8.3　映射与离散化　57 2.8.4　分组计算　59 本章小结　61 本章练习　61 　70 第3章　数据可视化　70 3.1　Matplotlib绘图基础　70 3.1.1　Matplotlib图像构成　70 3.1.2　Matplotlib绘图基本流程　70 3.1.3　中文字符显示　72 3.1.4　坐标轴字符刻度标注　74 3.2　Matplotlib常用图形绘制　75 3.2.1　散点图　76 3.2.2　线性图　77 3.2.3　柱状图　78 3.2.4　直方图　79 3.2.5　饼图　80 3.2.6　箱线图　80 3.2.7　子图　81 本章小结　84 本章练习　84 第4章　机器学习模型与实现 4.1　线性回归　103 4.1.1　一元线性回归　103 4.1.2　多元线性回归　105 4.1.3　Python线性回归应用举例　107 4.2　逻辑回归　109 4.2.1　逻辑回归模型　109 4.2.2　Python逻辑回归模型应用举例　109 4.3　神经网络　111 4.3.1　神经网络模拟思想　111 4.3.2　神经网络结构及数学模型　112 4.3.3　Python神经网络分类应用举例　113 4.3.4　Python神经网络回归应用举例　114 4.4　支持向量机　115 4.4.1　支持向量机原理　116 4.4.2　Python支持向量机应用举例　117 4.5　随机森林算法　119 4.5.1　随机森林算法的基本原理　119 4.5.2　随机森林算法的Sklearn实现　119 4.5.3　Python随机森林算法的应用举例　120 4.6　梯度提升决策树（GBDT）算法　121 4.6.1　GBDT算法的基本原理　121 4.6.2　GBDT算法的Sklearn实现　122 4.6.3　GBDT算法的应用举例　123 本章小结　124 本章练习　124 第5章　深度学习模型与实现　126 5.1　深度学习简介　126 5.2　深度学习框架简介　127 5.2.　1 Pytorch框架　127 5.2.2　PaddlePaddle框架　127 5.2.3　TensorFlow框架　127 5.3　TensorFlow基础　128 5.3.1　TensorFlow安装　128 5.3.2　TensorFlow命令简介　128 5.3.3　TensorFlow案例　131 5.4　多层神经网络　134 5.4.1　多层神经网络结构及数学模型　134 5.4.2　多层神经网络分类问题应用举例　136 5.4.3　多层神经网络回归问题应用举例　140 5.5　卷积神经网络　147 5.5.1　卷积层计算　148 5.5.2　池化层计算　150 5.5.3　全连接层计算　151 5.5.4　CNN应用案例　152 5.6　循环神经网络　157 5.6.1　RNN结构及数学模型　157 5.6.2　长短期记忆网络（LSTM）　159 5.6.3　RNN应用案例　160 本章小结　164 本章练习　164 第6章　大模型基础　165 6.1　大模型基本认识　165 6.2　BERT大模型　166 6.2.1　BERT模型开发环境搭建：基于Python和TensorFlow　166 6.2.2　BERT基本概念　168 6.2.3　BERT输入　169 6.2.4　BERT输出　170 6.2.5　BERT特征提取与文本相似度计算　171 6.2.6　BERT下游微调任务之分类　172 6.2.7　BERT下游微调任务之问答　172 6.2.8　BERT下游微调模型保存与加载　173 6.3　Chinese-CLIP多模态大模型　174 6.3.1　Chinese-CLIP模型开发环境搭建：基于Python和Pytorch　174 6.3.2　Chinese-CLIP的基本概念　175 6.3.3　Chinese-CLIP的输入　176 6.3.4　Chinese-CLIP的输出　177 6.3.5　Chinese-CLIP的数据集加载　177 6.3.6　Chinese-CLIP下游微调任务之图文匹配　178 6.3.7　Chinese-CLIP下游微调任务之视觉问答　179 6.4　百度千帆大模型平台　179 6.4.1　大模型的调用　180 6.4.2　大模型的微调训练　181 6.4.3　Prompt工程　184 本章小结　186 本章练习　186 第7章　BERT大语言模型下游任务应用案例　187 7.1　上市公司新闻标题情感分类　187 7.1.1　案例介绍　187 7.1.2　BERT模型输入参数及分类标签构造　188 7.1.3　BERT微调模型的训练集、验证集和测试集构造　189 7.1.4　BERT微调模型编译、训练与保存　190 7.1.5　BERT微调模型加载及应用　190 7.2　中文阅读理解　191 7.2.1　案例介绍　191 7.2.2　数据解读　191 7.2.3　数据解析　192 7.2.4　长文本截断处理　194 7.2.5　答案在截断文本中的开始位置和结束位置获取　197 7.2.6　BERT输入参数及开始位置、结束位置标签构造　198 7.2.7　BERT微调模型的训练集、验证集和测试集构造　200 7.2.8　BERT微调模型编译、训练与保存　201 7.2.9　BERT微调模型加载及应用　202 本章小结　202 本章练习　203 第8章　BERT大语言模型融合微调应用案例　204 8.1　BERT与机器学习模型融合微调案例　205 8.1.1　数据预处理：以KUAKE-QIC数据集为例　205 8.1.2　BERT与机器学习模型的定义　211 8.1.3　BERT微调的超参数设置　212 8.1.4　BERT与机器学习模型的融合微调训练　213 8.2　BERT与深度学习模型融合微调案例　216 8.2.1　BERT融合LSTM微调训练　216 8.2.2　BERT融合CNN微调训练　219 8.2.3　BERT融合MLP微调训练　221 本章小结　223 本章练习　223 第9章　云服务器微调训练大模型应用案例　224 9.1　Bert大语言模型微调应用案例　224 9.1.1　AutoDL云服务器资源租赁　224 9.1.2　开发环境搭建　226 9.1.3　数据和依赖文件上传　227 9.1.4　微调训练　228 9.1.5　微调模型应用　231 9.2　Chinese-CLIP多模态大模型微调应用案例　232 9.2.1　案例介绍　232 9.2.2　环境搭建　233 9.2.3　数据探索　233 9.2.4　数据处理　237 9.2.5　lmdb内存数据库构建　241 9.2.6　模型微调　242 9.2.7　模型应用　245 本章小结　248 本章练习　248 第　10章 百度千帆大模型平台应用案例　249 10.1　Python开发环境搭建　249 10.1.1　Python SDK安装　249 10.1.2　获取安全认证AK/SK鉴权　249 10.2　调用预置在线服务应用案例　250 10.2.1　文心系列大语言模型　250 10.2.2　平台接入的开源多模态大模型：图生文　251 10.2.3　平台接入的开源多模态大模型：文生图　252 10.3　基于百度千帆大模型平台的模型精调　253 10.3.1　平台基本认识　253 10.3.2　数据集准备　253 10.3.3　数据集创建　254 10.3.4　模型微调训练　255 10.3.5　模型微调完成后部署　257 10.3.6　微调模型应用　259 10.4　百度飞浆AI studio调用千帆大模型应用案例　260 10.4.1　在线开发环境基本认识　260 10.4.2　百度千帆大模型Python SDK安装　262 10.4.3　调用百度千帆大模型应用实例　262 本章小结　264 本章练习　264 第　11章 多模态大模型AI作画与web应用案例　265 11.1　基于streamlit的web页面设计　265 11.1.1　streamlit开发环境搭建　265 11.1.2　主体页面设计　267 11.1.3　主体页面程序实现　267 11.1.4　绘图事件函数定义　269 11.1.5　本地实现　269 11.2　百度飞浆AI studio星河社区线上开发　271 11.2.1　创建项目　271 11.2.2　streamlit web应用部署　273 11.2.3　文件空间的文件路径设置　275 11.2.4　应用发布　275 11.3　文件空间大文件的传输　276 11.3.1　Git工具下载　276 11.3.2　含大文件的AI studio星河社区项目创建　276 11.3.3　基于Git工具的文件传输　277 本章小结　279 本章练习　280 第　12章　大模型前沿应用动态