网络爬虫项目实战

本书从爬虫项目开发环境搭建开始，详细讲解从数据采集到内容可视化的全过程。本书从7个网站爬虫项目出发，根据项目需求选取不同的数据采集和处理技术，并有针对性地讲解几种Python网络爬虫。本书共8章，前3章是入门篇，第4、5、6章是进阶篇，第7、8章是高级篇。涵盖的内容有Scrapy爬虫、Requests爬虫、Selenium模拟浏览器、XPath语言、CSS选择器、CSV存储、MySQL存储、JSON读取、Parsel解析、Flask框架、ECharts可视化等。本书参考企业项目开发的工作流程，图文并茂地讲解每个操作步骤，并提供运行结果让读者检验自己的代码，中间也穿插介绍相关知识点和疑难问题。本书适用于高职高专院校大数据技术专业开展项目化教学和毕业设计指导，也可作为网络爬虫爱好者的启蒙资料。

第一篇 网络爬虫入门篇
第1章 开发环境准备 3
技能要求 3
学习导览 3
1.1 安装Chrome 4
1.2 安装Anaconda 4
1.3 安装第三方库 10
1.4 安装ChromeDriver 12
1.5 安装PyCharm 14
1.6 安装Java 21
1.7 安装Tomcat 22
1.8 安装MySQL 24
1.9 安装Navicat 33
第2章 购物Scrapy项目实战 37
技能要求 37
学习导览 37
2.1 项目介绍 38
2.2 任务分解 39
2.3 项目实施 39
课后习题 57
能力拓展 组合图可视化手机关注度 60
第3章 招聘Requests项目实战 63
技能要求 63
学习导览 63
3.1 项目介绍 64
3.2 任务分解 65
3.3 项目实施 65
课后习题 80
能力拓展 组合图可视化招聘态势 82
本篇小结 87
第二篇 网络爬虫进阶篇
第4章 汽车Scrapy+MTC实战 91
技能要求 91
学习导览 91
4.1 项目介绍 92
4.2 任务分解 93
4.3 项目实施 93
课后习题 112
能力拓展 组合图可视化城市二手车趋势 114
第5章 旅游Requests+MTC实战 117
技能要求 117
学习导览 117
5.1 项目介绍 118
5.2 任务分解 119
5.3 项目实施 119
课后习题 137
能力拓展 组合图可视化旅游目的地分析结果 138
第6章 房产Requests+Parsel+MTC项目实战 142
技能要求 142
学习导览 142
6.1 项目介绍 143
6.2 任务分解 143
6.3 项目实施 144
课后习题 164
能力拓展 组合图可视化房源分析统计结果 167
本篇小结 171
第三篇 网络爬虫高级篇
第7章 购物Selenium爬虫实战 175
技能要求 175
学习导览 175
7.1 项目介绍 176
7.2 任务分解 177
7.3 项目实施 177
课后习题 191
能力拓展 组合图可视化城市彩妆销售趋势 194
第8章 社交Selenium项目实战 198
技能要求 198
学习导览 198
8.1 项目介绍 199
8.2 任务分解 200
8.3 项目实施 200
课后习题 216
能力拓展 组合图可视化计算机视觉与模式识别论文分析 218
本篇小结 220