PYTHON数据分析

本书系统介绍了使用Python进行数据分析需要掌握的各项知识，涵盖了Python基础知识、网络爬虫、正则表达式、BeautifulSoup和JSON、词语切分、自然语言处理、使用NumPy进行科学计算、使用Pandas处理数据、数据可视化、MySQL、机器学习、朴素贝叶斯模型、支持向量机、随机森林、深度学习以及量化投资。

本书系统介绍了使用Python进行数据分析需要掌握的各项知识，涵盖了Python基础知识、网络爬虫技术、正则表达式、BeautifulSoup和JSON、词语切分、自然语言处理、使用NumPy与Pandas处理数据、数据可视化技术、MySQL、机器学习、朴素贝叶斯模型、支持向量机、随机森林、深度学习以及量化投资。本书通过结合数据分析技术的理论知识与Python的实战应用，帮助读者更好地运用Python解决数据分析中的实际问题。 本书适合作为高等院校工商管理类研究生、本科生的数据分析课程教材，还适合作为金融行业人员的参考资料。

目　录<br />前言<br />第1章　数据分析导论 /　1<br />1.1　面向财经领域的数据分析 /　1<br />1.2　数据分析工作流程与案例赏析 /　2<br />1.2.1　数据分析的工作流程 /　2<br />1.2.2　数据分析的案例赏析 /　3<br />1.3　扩展阅读 /　6<br />1.3.1　大数据驱动的决策范式<br />转变 /　6<br />1.3.2　使用大语言模型做数据<br />分析 /　6<br />第2章　Python基础知识 /　8<br />2.1　数据类型 /　8<br />2.1.1　数值 /　9<br />2.1.2　字符串 /　10<br />2.1.3　列表 /　13<br />2.1.4　元组 /　15<br />2.1.5　集合 /　16<br />2.1.6　字典 /　16<br />2.2　运算法则 /　18<br />2.2.1　算术运算 /　18<br />2.2.2　逻辑运算 /　19<br />2.2.3　比较运算 /　19<br />2.3　条件语句 /　19<br />2.4　循环语句 /　20<br />2.4.1　while循环 /　20<br />2.4.2　for循环 /　21<br />2.5　终止语句 /　22<br />2.6　函数构造和参数 /　22<br />2.6.1　自定义函数 /　22<br />2.6.2　自定义函数的参数 /　23<br />2.6.3　局部和全局变量 /　25<br />2.6.4　Lambda函数 /　25<br />2.7　扩展阅读 /　25<br />2.7.1　应用ChatGLM开发聊天<br />机器人 /　25<br />2.7.2　使用ChatGPT辅助学习Python /　27<br />第3章　网络爬虫 /　29<br />3.1　网络爬虫概述 /　29<br />3.2　网页结构 /　31<br />3.2.1　服务器与本地交换机制 /　31<br />3.2.2　HTML /　31<br />3.3　获取网页内容 /　34<br />3.3.1　通过Requests发送请求 /　34<br />3.3.2　在URL中传递参数 /　35<br />3.3.3　添加Headers /　36<br />3.4　利用爬虫获取股吧评论数据 /　36<br />3.5　扩展阅读 /　39<br />3.5.1　常见的反爬机制与解决<br />方案 /　39<br />3.5.2　使用ChatGPT辅助开发<br />网络爬虫 /　40<br />第4章　正则表达式 /　42<br />4.1　初识正则表达式 /　42<br />4.1.1　什么是正则表达式 /　42<br />4.1.2　构建简单的正则表达式 /　43<br />4.2　正则表达式进阶 /　44<br />4.3　使用正则表达式解析HTML网页 /　48<br />4.4　扩展阅读 /　49<br />第5章　BeautifulSoup和JSON /　51<br />5.1　BeautifulSoup基本语法 /　51<br />5.1.1　创建BeautifulSoup对象 /　52<br />5.1.2　提取标签信息 /　53<br />5.2　使用BeautifulSoup解析HTML<br />网页 /　54<br />5.3　JSON /　56<br />5.3.1　JSON的特点 /　56<br />5.3.2　JSON的结构 /　56<br />5.3.3　JSON序列化与反序列化 /　57<br />5.3.4　解析在线API返回的JSON<br />数据 /　58<br />5.4　扩展阅读 /　58<br />第6章　词语切分 /　60<br />6.1　分词简介 /　60<br />6.1.1　最大匹配法分词 /　61<br />6.1.2　基于统计的分词 /　62<br />6.2　Jieba分词 /　64<br />6.2.1　Jieba分词简介 /　64<br />6.2.2　使用Jieba分词 /　66<br />6.3　读取文件并切词 /　69<br />6.4　下载网页数据并切词 /　71<br />6.5　扩展阅读 /　73<br />6.5.1　Jieba分词算法细节 /　73<br />6.5.2　使用大语言模型切词 /　73<br />第7章　自然语言处理简介 /　75<br />7.1　TF-IDF /　75<br />7.1.1　TF-IDF原理 /　76<br />7.1.2　TF-IDF案例 /　77<br />7.2　词袋法 /　78<br />7.3　情感分析 /　79<br />7.3.1　定义函数创建词袋 /　81<br />7.3.2　使用Python实现词袋法 /　82<br />7.4　扩展阅读 /　83<br />7.4.1　词嵌入 /　83<br />7.4.2　使用ChatGPT做文本<br />分析 /　83<br />第8章　使用NumPy进行科学<br />计算 /　85<br />8.1　创建数组 /　85<br />8.1.1　安装NumPy /　85<br />8.1.2　列表和数组 /　86<br />8.1.3　创建并探索NumPy数组 /　87<br />8.1.4　创建特殊NumPy数组 /　89<br />8.1.5　导入并查看titanic数据集 /　91<br />8.2　数组切片 /　93<br />8.2.1　索引和切片 /　93<br />8.2.2　数组切片和列表切片 /　94<br />8.2.3　数组拼接 /　95<br />8.3　数组计算 /　96<br />8.3.1　广播 /　97<br />8.3.2　数组的绝对值与均值 /　97<br />8.3.3　点积 /　97<br />8.4　词语相似度计算 /　99<br />8.5　手写数字案例 /　101<br />8.5.1　初步探索数据集 /　102<br />8.5.2　数据标准化 /　102<br />8.5.3　图像翻转 /　103<br />8.6　金融案例分析 /　104<br />8.6.1　读取文件 /　104<br />8.6.2　计算成交量加权平均<br />价格 /　105<br />8.6.3　计算最大值和最小值 /　105<br />8.6.4　计算极差 /　106<br />8.6.5　计算中位数 /　106<br />8.6.6　计算方差 /　106<br />8.7　扩展阅读 /　107<br />第9章　使用Pandas处理数据 /　109<br />9.1　序列和数据框 /　109<br />9.1.1　创建序列 /　109<br />9.1.2　创建数据框 /　111<br />9.1.3　使用Pandas读取和存储<br />数据 /　112<br />9.2　用Pandas处理数据 /　114<br />9.2.1　关于INVEST部门的投资<br />任务 /　114<br />9.2.2　查看数据 /　115<br />9.2.3　数据切片 /　116<br />9.2.4　数据类型转换 /　118<br />9.2.5　数据的增删改 /　120<br />9.3　用Pandas处理文本数据 /　123<br />9.3.1　在序列中处理文本数据 /　123<br />9.3.2　进一步清洗文本数据 /　131<br />9.3.3　更新评论日期 /　132<br />9.4　光线传媒股价数据分析 /　134<br />9.5　扩展阅读 /　137<br />9.5.1　混频数据 /　137<br />9.5.2　ChatGPT视角下的<br />Pandas /　139<br />第10章　数据可视化 /　141<br />10.1　数据可视化的基本步骤 /　141<br />10.2　Matplotlib可视化 /　142<br />10.3　Pandas可视化 /　145<br />10.3.1　参数列表 /　145<br />10.3.2　绘图 /　146<br />10.4　使用数据可视化探索人们的生活<br />规律 /　153<br />10.5　股票价格的数据可视化 /　155<br />10.6　扩展阅读 /　157<br />10.6.1　科研工作中常用的数据<br />可视化工具 /　157<br />10.6.2　使用生成模型辅助数据<br />可视化 /　160<br />10.6.3　ChatGPT视角下的Matplotlib /　162<br />第11章　认识MySQL /　163<br />11.1　数据库基础 /　163<br />11.1.1　表 /　164<br />11.1.2　列 /　164<br />11.1.3　数据类型 /　164<br />11.1.4　行 /　164<br />11.1.5　主键 /　165<br />11.1.6　SQL /　165<br />11.1.7　什么是MySQL /　165<br />11.1.8　MySQL的优势 /　165<br />11.2　数据库基本操作 /　166<br />11.2.1　检索数据：SELECT语句 /　166<br />11.2.2　过滤数据 /　167<br />11.2.3　插入数据 /　168<br />11.2.4　更新数据 /　168<br />11.2.5　删除数据 /　169<br />11.3　利用MySQL存取csv文件 /　169<br />11.4　使用Python和MySQL存取<br />数据 /　173<br />11.5　扩展阅读 /　175<br />11.5.1　什么是云数据库 /　175<br />11.5.2　ChatGPT视角下的<br />MySQL /　176<br />第12章　机器学习介绍 /　178<br />12.1　机器学习概述 /　178<br />12.1.1　语音助手例子 /　178<br />12.1.2　什么是机器学习 /　179<br />12.1.3　机器学习的分类 /　180<br />12.1.4　深入理解机器学习 /　183<br />12.2　模型评估与选择 /　184<br />12.2.1　模型选择的目的 /　184<br />12.2.2　评估指标 /　184<br />12.2.3　模型评估与选择的方法 /　188<br />12.2.4　最终模型 /　189<br />12.3　梯度下降 /　190<br />12.3.1　一维梯度下降 /　190<br />12.3.2　学习率 /　192<br />12.3.3　多维梯度下降 /　193<br />12.3.4　随机梯度下降 /　194<br />12.3.5　小批量梯度下降 /　194<br />12.4　建立并训练一个模型 /　194<br />12.4.1　研发投入与创新绩效的<br />关系 /　194<br />12.4.2　使用批量梯度下降求解 /　197<br />12.4.3　使用随机梯度下降求解 /　199<br />12.4.4　模型评估 /　200<br />12.5　扩展阅读 /　200<br />第13章　朴素贝叶斯模型的应用 /　202<br />13.1　朴素贝叶斯模型 /　202<br />13.1.1　贝叶斯公式 /　202<br />13.1.2　全概率和贝叶斯定理 /　204<br />13.1.3　模型介绍 /　204<br />13.2　结合Pandas和Jieba做训练数据<br />准备 /　207<br />13.2.1　下载数据 /　207<br />13.2.2　将函数应用到序列中 /　208<br />13.3　使用朴素贝叶斯做情感分析 /　208<br />13.3.1　文本的词袋表示 /　209<br />13.3.2　使用多项式朴素贝叶斯模型<br />做文本分类 /　210<br />13.3.3　使用Pipeline对象组合机器学习模型的各个步骤 /　212<br />13.3.4　应用交叉验证法评估并选择<br />模型 /　212<br />13.3.5　保存并下载模型以进行<br />预测 /　215<br />13.4　扩展阅读 /　216<br />第14章　支持向量机的应用 /　217<br />14.1　SVM原理简介 /　217<br />14.1.1　SVM支持向量 /　217<br />14.1.2　对偶问题 /　219<br />14.1.3　松弛变量 /　221<br />14.1.4　非线性SVM分类任务<br />（核函数） /　224<br />14.1.5　支持向量回归任务 /　225<br />14.1.6　SVM算法小结 /　227<br />14.2　支持向量机的Python代码<br />实现 /　228<br />14.2.1　SVM的Python实现基本<br />步骤 /　228<br />14.2.2　Scikit-Learn支持向量机<br />算法库小结 /　229<br />14.2.3　SVM算法库其他调参<br />要点 /　231<br />14.3　基于SVM的个人信贷违约预测 /　231<br />14.3.1　数据预览及预处理 /　232<br />14.3.2　特征工程 /　235<br />14.3.3　模型建立与参数调整 /　239<br />14.4　使用基于合页损失函数的SVM<br />进行情感分类 /　239<br />14.4.1　合页损失函数基本概念<br />介绍 /　240<br />14.4.2　导入数据 /　242<br />14.4.3　使用合页损失函数 /　243<br />14.4.4　使用测试数据做预测 /　243<br />14.5　扩展阅读 /　243<br />第15章　随机森林的应用 /　245<br />15.1　决策树与随机森林 /　245<br />15.1.1　决策树 /　245<br />15.1.2　随机森林 /　249<br />15.2　情感指标的获取与生成 /　250<br />15.2.1　获取每日情感分数 /　251<br />15.2.2　获取每日股评数量及意见<br />分歧指数 /　251<br />15.2.3　填充缺失值 /　252<br />15.2.4　生成累积滞后分数 /　252<br />15.3　数据拼接 /　255<br />15.3.1　百度指数 /　255<br />15.3.2　获取股票市场数据 /　256<br />15.3.3　合并数据集 /　257<br />15.4　用随机森林做金融市场价格波动<br />预测 /　258<br />15.4.1　数据准备 /　258<br />15.4.2　可视化混淆矩阵 /　258<br />15.4.3　训练决策树模型 /　259<br />15.4.4　训练随机森林模型 /　259<br />15.4.5　对比不同训练集的模型度量<br />指标AUC /　260<br />15.5　基于量化投资的模型评估指标 /　264<br />15.6　信用评分 /　266<br />15.6.1　背景 /　266<br />15.6.2　目标 /　266<br />15.6.3　数据准备 /　266<br />15.6.4　训练决策树模型 /　269<br />15.6.5　训练随机森林模型 /　269<br />15.7　拓展阅读 /　270<br />15.7.1　机器学习模型的公平性 /　270<br />15.7.2　ChatGPT视角下的随机<br />森林 /　271<br />第16章　深度学习 /　272<br />16.1　感知器与神经网络 /　272<br />16.1.1　感知器 /　272<br />16.1.2　神经网络 /　273<br />16.1.3　BP神经网络 /　274<br />16.2　深度学习中的基本模型 /　276<br />16.2.1　卷积神经网络 /　277<br />16.2.2　循环神经网络 /　281<br />16.2.3　长短期记忆神经网络 /　282<br />16.3　深度学习的发展方向 /　283<br />16.4　扩展阅读 /　283<br />16.4.1　人机融合预测系统 /　283<br />16.4.2　ChatGPT视角下的深度<br />学习 /　284<br />第17章　量化投资 /　286<br />17.1　量化投资概述 /　286<br />17.1.1　什么是量化投资以及量化策略开发流程 /　286<br />17.1.2　量化投资必备的基础金融<br />理论 /　287<br />17.2　股息率选股策略 /　289<br />17.2.1　“一鸟在手胜过双鸟<br />在林” /　289<br />17.2.2　股息率策略研究与实践 /　289<br />17.2.3　获取月度交易日 /　290<br />17.2.4　获取股息率 /　293<br />17.2.5　筛选前30%的股票作为<br />组合 /　296<br />17.2.6　绩效可视化 /　298<br />17.3　PEG策略 /　300<br />17.3.1　PEG策略实现 /　301<br />17.3.2　策略可视化 /　302<br />17.4　股息率策略的回测平台代码实践 /　303<br />17.5　扩展阅读A /　304<br />17.5.1　回测环境 /　304<br />17.5.2　编译运行 /　304<br />17.5.3　策略回测 /　307<br />17.5.4　模拟交易 /　308<br />17.5.5　数据 /　308<br />17.5.6　运行频率 /　309<br />17.5.7　运行时间 /　309<br />17.5.8　佣金与印花税 /　309<br />17.5.9　滑点 /　309<br />17.5.10　拆分、合并与分红 /　309<br />17.6　扩展阅读B /　311<br />参考文献 /　313