Python数据采集与分析 微课视频版

本教材以Python为编程工具，以数据采集、数据分析、数据决策为主线，以任务驱动的教学方式，穿插“知识点”“小贴士”等相关知识介绍，以学情分析为出发点，形成知识-任务-解决方案链条，增强学习的趣味性和体验感，通过任务驱动学习的能动性，有效训练学习者解决问题的复合能力。

本书以Python数据采集与数据分析作为中心，不求面面俱到，但求精练并强调实用性，注重提高学生应用Python解决实际问题能力的培养与训练。全书内容共分三篇13章，第一篇先介绍Python开发环境，然后从Python数据类型、程序控制流程、函数、字符编码与文件读写、面向对象的编程思想等方面介绍了Python编程的基础内容； 第二篇主要从网络爬虫、Scrapy爬虫框架等方面介绍如何应用Python进行网页数据的采集； 第三篇则是对采集到的数据进行分析，介绍Python中常用到的两种数据结构——Series和DataFrame，以及基于这两种数据对象的基本操作，还介绍如何绘制常用的基本图形，如折线图、饼图、箱线图等，包括统计学中的相关分析与关联分析，最后介绍文本挖掘与分析相关内容。 本书在内容组织与编写上尽量做到逻辑严密、结构合理，可供计算机、大数据、人工智能等相关专业的学生使用，也可供经管类等其他专业的学生用于商业数据分析。

第一篇Python开发环境部署和编程基础
第1章Python开发环境部署
1.1Anaconda3的安装与部署
1.2Anaconda3的使用
1.3Jupyter Notebook的使用
第2章Python编程基础
2.1Python编程语言概述
2.2第一个Python程序
2.3Python中模块的应用
第3章数据类型
3.1数字
3.2字符串
3.3列表
3.4字典
3.4.1列表和字典的区别与联系
3.4.2字典的几种操作
3.5元组
第4章程序控制流程
4.1for循环语句
4.2while循环语句
4.3break语句
4.4continue语句
4.5pass语句
4.6选择分支结构的实现
4.7随机数的应用
第5章函数的使用
5.1函数的创建与调用
5.2变量作用域
5.3模块与包
5.3.1模块导入
5.3.2模块的查找方式
5.3.3包
5.4模块应用举例
5.4.1time模块的使用
5.4.2收发电子邮件相关模块的使用
第6章字符编码与文件读写
6.1常见的编码类别
6.2文件读写
6.2.1文件打开
6.2.2文件读
6.2.3文件写
6.2.4文件关闭
6.3csv文件的读写操作
6.3.1写csv文件
6.3.2读csv文件
6.4Excel文件的读写操作
6.4.1向Excel文件中写入数据
6.4.2读取Excel文件中的数据
第7章Python面向对象编程
7.1面向对象思想简介
7.2类的创建
7.2.1初始化方法的定义
7.2.2类的继承
7.2.3类的定制
第二篇Python数据采集
第8章网络爬虫原理
8.1爬虫的工作步骤
8.2爬虫伦理
8.2.1Robots协议
8.2.2robots.txt的使用方法
8.3使用BeautifulSoup解析和提取网页中的数据
8.3.1find()与find_all()的应用
8.3.2select()的应用
8.3.3静态网页与动态网页
8.3.4带参数的URL请求
8.3.5JSON数据的解析
8.4反反爬虫技术
8.5携程网站酒店评论信息的抓取
8.6携程网站某景区评论信息抓取
8.7天气信息的抓取
8.8selenium的应用
8.8.1selenium的配置
8.8.2工作原理和步骤
8.8.3selenium提取数据的方法
8.8.4selenium操作元素的常用方法
第9章Scrapy爬虫框架
9.1安装Scrapy爬虫框架并创建爬虫项目
9.1.1安装Scrapy爬虫框架
9.1.2创建并启动Scrapy爬虫项目
9.1.3Scrapy爬虫项目的组成
9.2使用Scrapy提取网页数据
9.2.1Response对象的属性和方法
9.2.2xpath选择器
9.2.3Selector对象
9.2.4css选择器
9.3多层级网页抓取
9.3.1相同结构页面抓取
9.3.2不同结构网页数据的抓取
9.3.3request与对应的response间的数据传递
第三篇Python数据分析
第10章pandas库
10.1pandas库的数据结构
10.1.1Series数据结构
10.1.2Series的创建方法
10.1.3Series的索引和切片
10.1.4Series的几种操作
10.1.5DataFrame数据结构
10.1.6DataFrame数据排序
10.1.7Series 对象和 DataFrame 对象的联系
10.2分组聚合操作
10.2.1groupby()方法的应用
10.2.2单层分组聚合
10.2.3多层分组聚合操作
10.2.4聚合操作agg()方法的应用
第11章matplotlib数据可视化
11.1图形绘制的一般步骤
11.2折线图的绘制
11.2.1单条折线图的绘制
11.2.2多条折线图的绘制
11.3饼图的绘制
11.3.1使用Series绘图
11.3.2使用matplotlib绘图
11.4散点图的绘制
11.5箱线图的绘制
……