Python 3 爬虫、数据清洗与可视化实战 第2版

这本Python爬虫技术书是一个完整大数据应用框架：从数据收集、分析到数据可视化、数据建模。各章节以实际案例为出发点，适合对大数据分析、爬虫技术应用感兴趣的小伙伴们学习。

本书是一本通过实战教初学者学习爬取数据、清洗和组织数据进行分析和可视化的Python读物。书中案例均经过实战检验，笔者在实践过程中深感采集数据、清洗和组织数据的重要性，作为一名数据行业的“码农”，数据就是沃土，没有数据，我们将无田可耕。本书共13章，包括6个核心主题，其一是Python基础入门，包括环境配置、基本操作、数据类型、语句和函数；其二是Python爬虫的构建，包括网页结构解析、爬虫流程设计、代码优化、爬虫效率优化、无线端的数据采集、容错处理、反防爬虫、表单交互和模拟页面点击；其三是Python数据库应用，包括MongoDB、MySQL在Python中的连接与应用；其四是数据清洗和组织，包括NumPy数组知识，以及pandas数据的读写、分组、变形，缺失值、异常值和重复值处理，时序数据处理和正则表达式的使用等；其五是综合应用实例，帮助读者贯穿爬虫、数据清洗与组织的过程；最后是数据可视化，包括matplotlib和pyecharts两个库的使用，涉及饼图、柱形图、线图、词云图等图形，帮助读者进入可视化的殿堂。本书以实战为主，适合Python初学者及高等院校相关专业的学生阅读，也适合Python培训机构作为实验教材。

"零一 原名陈海城，慕研数据分析师事务所创始人，电商数据专家，数据分析师，开发工程师；从事教育培训、数据分析和人工智能行业，专注于电商企业的数据化服务。 韩要宾 CDA数据分析研究院资深讲师；5年电商从业经验，4年数据挖掘实战经验；专注于数据分析与挖掘、机器学习、深度学习，服务客户包括苏宁易购、迪卡侬、百草味、浙江师范大学等。 黄园园 具有10年软件开发经验，全栈工程师，六西格玛黑带，精通Python和机器学习算法，具有丰富的分布式爬虫开发经验；曾在苏州三星电子电脑（SESC）、新加坡电信（NCS）、希捷科技（Seagate Technology）等世界知名企业研发部工作，参与过花旗银行在线支付系统、银行账单自动化审核系统等大型软件开发，曾任杭州沐垚科技有限公司CTO。"

第1章Python语言基础1
1.1安装Python环境1
1.1.1Python3.6.2安装与配置1
1.1.2使用IDE工具――PyCharm4
1.1.3使用IDE工具――Anaconda4
1.2Python操作入门5
1.2.1编写第一个Python代码5
1.2.2Python基本操作8
1.2.3变量10
1.3Python数据类型10
1.3.1数字10
1.3.2字符串11
1.3.3列表14
1.3.4元组15
1.3.5集合15
1.3.6字典15
1.4Python语句与函数16
1.4.1条件语句16
1.4.2循环语句16
1.4.3函数17
1.5习题18

第2章数据采集的基本知识25
2.1关于爬虫的合法性25
2.2了解网页27
2.2.1认识网页结构28
2.2.2写一个简单的HTML28
2.3使用requests库请求网站30
2.3.1安装requests库30
2.3.2爬虫的基本原理32
2.3.3使用GET方式抓取数据33
2.3.4使用POST方式抓取数据34
2.4使用BeautifulSoup解析网页37
2.5清洗和组织数据41
2.6爬虫攻防战42
2.7关于什么时候存储数据45
2.8习题45

第3章用API爬取天气预报数据48
3.1注册免费API和阅读技术文档48
3.2获取API数据50
3.3存储数据到MongoDB55
3.3.1下载并安装MongoDB55
3.3.2在PyCharm中安装MongoPlugin56
3.3.3将数据存入MongoDB中59
3.4MongoDB数据库查询61
3.5习题64

第4章大型爬虫案例：抓取某电商网站的商品数据65
4.1观察页面特征和解析数据65
4.2工作流程分析74
4.3构建类目树75
4.4获取景点产品列表78
4.5代码优化80
4.6爬虫效率优化.84
4.7容错处理87
4.8习题87

第5章采集手机App数据89
5.1模拟器及抓包环境配置89
5.2App数据抓包93
5.3手机App数据的采集95
5.4习题96

第6章Scrapy爬虫98
6.1Scrapy简介98
6.2安装Scrapy99
6.3案例：用Scrapy抓取股票行情100
6.4习题108

第7章Selenium爬虫109
7.1Selenium简介109
7.2安装Selenium111
7.3Selenium定位及操作元素111
7.4案例：用Selenium抓取某电商网站数据114
7.5习题122

第8章爬虫案例集锦124
8.1采集外卖平台数据124
8.1.1采集目标124
8.1.2采集代码126
8.2采集内容平台数据127
8.2.1采集目标127
8.2.2采集代码129
8.3采集招聘平台数据130
8.3.1采集目标130
8.3.2采集代码132
8.4采集知识付费平台数据133
8.4.1采集目标133
8.4.2采集代码136

第9章数据库连接和查询137
9.1使用PyMySQL137
9.1.1连接数据库137
9.1.2案例：某电商网站女装行业TOP100销量数据139
9.2使用SQLAlchemy141
9.2.1SQLAlchemy基本介绍141
9.2.2SQLAlchemy基本语法142
9.3MongoDB144
9.3.1MongoDB基本语法144
9.3.2案例：在某电商网站搜索“连衣裙”的商品数据145
9.4习题146

第10章NumPy数组操作148
10.1NumPy简介148
10.2一维数组149
10.2.1数组与列表的异同149
10.2.2数组的创建150
10.3多维数组151
10.3.1多维数组的高效性能151
10.3.2多维数组的索引与切片152
10.3.3多维数组的属性和方法153
10.4数组的运算154
10.5习题155

第11章pandas数据清洗158
11.1数据读写、选择、整理和描述158
11.1.1从CSV中读取数据160
11.1.2向CSV中写入数据161
11.1.3数据选择161
11.1.4数据整理163
11.1.5数据描述164
11.2数据分组、分割、合并和变形165
11.2.1数据分组165
11.2.2数据分割168
11.2.3数据合并169
11.2.4数据变形175
11.2.5案例：旅游数据的分析与变形177
11.3缺失值、异常值和重复值处理181
11.3.1缺失值处理181
11.3.2检测和过滤异常值184
11.3.3移除重复值187
11.3.4案例：旅游数据值的检查与处理189
11.4时序数据处理192
11.4.1日期/时间数据转换192
11.4.2时序数据基础操作193
11.4.3案例：天气预报数据分析与处理195
11.5数据类型转换199
11.6正则表达式201
11.6.1元字符与限定符201
11.6.2案例：用正则表达式提取网页文本信息202
11.7习题203

第12章综合应用实例206
12.1按性价比给用户推荐旅游产品206
12.1.1数据采集207
12.1.2数据清洗、建模211
12.2通过热力图分析为用户提供出行建议213
12.2.1某旅游网站热门景点爬虫代码217
12.2.2提取CSV文件中经纬度和销量信息220
12.2.3创建景点门票销量热力图HTML文件221

第13章数据可视化224
13.1应用matplotlib画图225
13.1.1画出各省份平均价格、各省份平均成交量柱状图225
13.1.2画出各省份平均成交量折线图、柱状图、箱形图和饼图227
13.1.3画出价格与成交量的散点图228
13.2应用pyecharts画图228
13.2.1Echarts简介228
13.2.2pyecharts简介229
13.2.3初识pyecharts，玫瑰相送229
13.2.4pyecharts基本语法230
13.2.5基于商业分析的pyecharts图表绘制232
13.2.6使用pyecharts绘制其他图表242
13.2.7pyecharts和Jupyter245
13.3习题246