Python数据分析与应用(微课版)

本书深入浅出地介绍数据分析的完整流程及Python实现，分为三篇共10章。第一篇为基础篇（第1章～第5章），包括数据分析概述、Python基础、数据处理、数据分析、数据可视化；第二篇为应用篇（第6章～第9章），包括电影评论数据爬取、文学作品文本分析、股票行情分析、电商用户行为分析；第三篇为综合实践篇（第10章），包括抖音短视频数据分析。 本书采用通俗易懂的语言，结合清晰的步骤和丰富的实例，全面阐述数据分析全流程以及Python在其中的应用。此外，本书配有PPT课件、教学大纲、电子教案、实例和实训素材、实训答案、课后习题答案等丰富的教学资源，读者可在人邮教育社区免费下载使用。 本书可作为高等院校数据分析与应用相关课程的教材，也可作为社会各类培训机构的参考书，还可作为对数据分析与应用感兴趣的读者的自学读物。

丁菊玲 江西财经大学信息管理学院副教授，博士，英国约克大学访问学者。主要研究方向为网络舆情危机管理、社交媒体大数据分析。在国内外学术期刊上发表论文20多篇，申请实用新型专利2项，软件著作权2项；主持完成国家社会科学基金青年项目1项，参与完成国家级项目多项，主持和参与完成省部级课题30多项；出版学术专著2部，教材2部；曾多次荣获江西财经大学“金牌主讲教师”“网络优秀教师”等称号。

第 一篇　基础篇　1 第 1章　数据分析概述　2 1.1　数据分析基础　2 1.1.1　数据的定义　2 1.1.2　数据分析的定义　3 1.1.3　数据分析方法　3 1.1.4　数据分析步骤　4 1.2　Python数据分析　5 1.3　应用实例——使用Python进行简单的数据分析　6 本章习题　8 本章实训　8 实训一　安装和使用Anaconda　8 实训二　数据探索　9 实训三　数据可视化　9 第 2章　Python基础　11 2.1　Python简介　11 2.1.1　Python特点　11 2.1.2　Python主要功能　12 2.2　Anaconda的安装与使用　13 2.2.1　Anaconda简介　13 2.2.2　安装Anaconda　13 2.2.3　使用Spyder　15 2.3　变量　16 2.3.1　变量定义　16 2.3.2　变量赋值　16 2.3.3　变量命名　16 2.4　数据类型　17 2.4.1　数值型　17 2.4.2　字符型　18 2.4.3　逻辑型　18 2.5　数据结构　19 2.5.1　列表　19 2.5.2　元组　19 2.5.3　字典　19 2.5.4　序列　19 2.5.5　数据框　20 2.6　函数　20 2.6.1　函数简介　20 2.6.2　Python内置函数　21 2.6.3　使用函数　21 2.7　程序结构　22 2.7.1　顺序结构　22 2.7.2　选择结构　22 2.7.3　循环结构　23 2.7.4　程序结构应用实例　23 2.8　模块　24 2.8.1　模块简介　25 2.8.2　Python标准模块　25 2.8.3　使用模块　25 2.9　应用实例——猜数游戏　26 本章习题　27 本章实训　28 第3章　数据处理　29 3.1　数据导入导出　29 3.1.1　数据导入　30 3.1.2　数据导出　31 3.2　数据清洗　32 3.2.1　数据排序　32 3.2.2　重复数据处理　33 3.2.3　缺失值处理　34 3.3　数据转换　35 3.3.1　数据类型查看　36 3.3.2　数值转字符串　38 3.3.3　字符串转数值　38 3.3.4　字符串转日期时间对象　39 3.3.5　日期时间对象转字符串　39 3.4　数据抽取　40 3.4.1　字符串拆分　40 3.4.2　记录抽取　41 3.5　数据合并　42 3.5.1　记录合并　42 3.5.2　字段合并　44 3.5.3　字段匹配　45 3.6　数据计算　46 3.6.1　简单计算　46 3.6.2　时间计算　47 3.6.3　数据分组　48 3.7　应用实例——电影票房统计之数据处理　49 3.7.1　数据收集　49 3.7.2　数据清洗和转换　50 本章习题　51 本章实训　51 第4章　数据分析　52 4.1　描述性分析　52 4.1.1　描述性分析概述　53 4.1.2　商品价格描述性分析　53 4.2　分组分析　55 4.2.1　分组分析概述　55 4.2.2　商品价格分组分析　56 4.3　结构分析　57 4.3.1　结构分析概述　57 4.3.2　商品结构分析　57 4.4　分布分析　58 4.4.1　分布分析概述　58 4.4.2　商品分布分析　58 4.5　对比分析　59 4.5.1　对比分析概述　59 4.5.2　厂商销量对比分析　59 4.6　简单线性回归　62 4.6.1　简单线性回归概述　62 4.6.2　基于简单线性回归模型的销售额预测　63 4.7　预测分析　66 4.7.1　预测分析概述　66 4.7.2　股票收益率预测分析　67 4.8　时间序列分析　70 4.8.1　时间序列分析概述　70 4.8.2　流通现金的时间序列分析　70 4.9　应用实例——电影票房统计之数据分析　74 4.9.1　电影票房统计　74 4.9.2　电影票房前10统计　75 4.9.3　平均票价分析　76 4.9.4　场均人次分析　76 4.9.5　不同年份高票房电影数量统计　77 本章习题　78 本章实训　79 第5章　数据可视化　80 5.1　Python数据可视化简介　80 5.1.1　数据可视化的概念　80 5.1.2　数据可视化常用图表　81 5.1.3　Python可视化模块　81 5.2　Matplotlib入门　81 5.3　饼图　82 5.4　柱状图　82 5.5　折线图　83 5.6　面积图　84 5.7　散点图　85 5.8　矩阵图　87 5.9　应用实例——学生成绩可视化分析　88 5.9.1　成绩分布直方图　88 5.9.2　学生课程成绩分布饼图　91 5.9.3　单科成绩分布散点图　93 本章习题　95 本章实训　95 第二篇　应用篇　97 第6章　电影评论数据爬取　98 6.1　Python数据爬虫概述　98 6.1.1　网络爬虫概念　98 6.1.2　网络爬虫基础　99 6.2　Python爬虫常用库　102 6.2.1　Requests库　102 6.2.2　BeautifulSoup库　104 6.3　应用实例——电影《热辣滚烫》影评数据爬取　111 6.3.1　导包　111 6.3.2　网页分析　112 6.3.3　评论爬取　113 本章实训　116 第7章　文学作品文本分析　117 7.1　文本分析概述　117 7.1.1　文本分析概念　118 7.1.2　文本分析相关库　118 7.2　文本分析主要任务　120 7.2.1　分词　120 7.2.2　关键词提取　123 7.2.3　词频分析　125 7.2.4　情感分析　128 7.3　应用实例——《围城》人物出场次数统计及情感分析　130 7.3.1　数据准备　130 7.3.2　人物出场次数统计　131 7.3.3　主要人物词云制作　134 7.3.4　情感分析　135 本章实训　137 第8章　股票行情分析　138 8.1　财经数据接口简介　138 8.1.1　Tushare简介　138 8.1.2　Tushare版本　139 8.1.3　其他财经数据接口　141 8.2　沪深股票数据分析　141 8.2.1　股票实时行情数据分析　141 8.2.2　股票历史行情数据分析　142 8.2.3　新股发行数据分析　144 8.2.4　沪深股市行业分析　146 8.3　应用实例——选股投资决策分析　149 8.3.1　Selenium环境配置　149 8.3.2　Selenium实现Web自动化　151 8.3.3　BeautifulSoup实现网页解析　151 8.3.4　Requests库和BeautifulSoup库实现文章关键字提取　152 8.3.5　wordcloud统计词频　153 8.3.6　mplfinance可视化　153 本章实训　155 第9章　电商用户行为分析　156 9.1　电商用户行为分析概述　156 9.1.1　电商用户行为分析主要内容　156 9.1.2　电商用户行为分析目标　157 9.1.3　电商用户行为分析主要函数　157 9.2　电商用户行为分析数据预处理　158 9.2.1　数据集概述　158 9.2.2　导入数据　159 9.2.3　数据表时间处理　159 9.2.4　数据表缺失值处理　161 9.3　页面操作行为分析　161 9.3.1　页面总浏览状况分析　162 9.3.2　日期维度下pv和uv的变化　163 9.3.3　时间维度下pv和uv的变化　166 9.4　用户指标分析　167 9.4.1　用户购买次数分析　167 9.4.2　用户复购率分析　169 9.4.3　用户跳失率分析　169 9.4.4　用户转化漏斗分析　169 9.5　用户行为指标分析　170 9.5.1　用户行为分析　170 9.5.2　日期维度下用户行为变化　171 9.5.3　时间维度下用户行为变化　173 9.6　商品数据分析　176 9.6.1　有浏览记录商品分析　176 9.6.2　有销售记录商品类别分析　176 9.6.3　销售排名前10商品分析　177 9.6.4　浏览量靠前的商品品类分析　178 9.7　应用实例——电商产品RFM分析　178 9.7.1　RFM分析概述　178 9.7.2　电商产品RFM分析　179 本章实训　181 第三篇　综合实践篇　182 第 10章　抖音短视频数据分析　183 10.1　问题背景　183 10.2　数据描述　185 10.2.1　数据来源　185 10.2.2　数据特点　185 10.2.3　数据字段　185 10.2.4　数据导入　185 10.3　数据处理　186 10.4　数据分析　187 10.4.1　用户维度分析　187 10.4.2　创作者维度分析　192 10.4.3　视频内容维度分析　193 10.4.4　视频时长影响回归分析　196 10.5　结果分析　198 10.5.1　用户维度结果分析　198 10.5.2　创作者维度结果分析　199 10.5.3　视频内容维度结果分析　199 10.5.4　视频时长影响回归结果分析　199 10.6　本章小结　199 参考文献　200