Python爬虫案例实战 微课视频版

（1）内容全面，结构清晰。本书通过案例详细介绍了网络爬虫技术的方方面面，讨论了数据抓取、数据处理和数据分析的整个流程。 （2）循序渐进，生动简洁。从最简单的Python爬虫程序案例开始，在网络爬虫的核心主题之下一步步深入，兼顾内容的广度与深度。在行文中，使用生动简洁的阐述方式，力争详略得当。 （3）示例丰富，实战性强。网络爬虫是实践性、操作性非常强的技术，本书从生活实际出发，选取实用性、趣味性兼具的主题进行网络爬虫实践。 （4）内容新颖，不落窠臼。本书中程序代码均采用近期新的Python 3版本，并使用了目前主流的各种Python框架和库来编写程序，注重内容的时效性。网络爬虫需要动手实践才能真正理解，本书优选地保证了代码与程序示例的易用性和易读性。

本书主要介绍Python爬虫编写的基础知识，以及对爬虫数据的存储、深入处理和分析。全书分为四部分：第一部分为爬虫基础篇，第二部分为实战基础篇（9个案例），第三部分为框架应用篇（5个案例），第四部分为爬虫应用场景及数据处理篇（6个案例）。本书由浅入深地介绍爬虫常用的方法和工具，以及对爬虫数据处理的应用和实现。但需要注意的是，爬虫的技术栈不仅包含这几部分，而且在实际工作中的细分方法也不尽相同。本书只是对目前爬虫技术中最为常用的一些知识点用案例的形式进行了分类和讲解，而更多的应用也值得读者在掌握一定的基础技能后进一步探索。本书适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等学校计算机科学、软件工程等相关专业的师生阅读。

第一部分爬虫基础篇
第1章Python网络爬虫基础
1.1HTTP、HTML与JavaScript
1.1.1HTTP
1.1.2HTML
1.1.3JavaScript
1.2Requests的使用
1.2.1Requests简介
1.2.2使用Requests编写爬虫程序
1.3常见的网页解析工具
1.3.1BeautifulSoup
1.3.2XPath与lxml
1.4Scrapy框架与Selenium
1.4.1爬虫框架：Scrapy
1.4.2模拟浏览器：Selenium
1.5本章小结
第二部分实战基础篇
第2章爬取某游戏靠前00选手信息
2.1JavaScript对象与JSON
2.2爬取方案分析
2.2.1方案一
2.2.2方案二
2.3本章小结
第3章爬取豆瓣电影简介
3.1确定信息源
3.2获取网页信息
3.3解析信息内容
3.4批量爬取网页信息
3.5本章小结
第4章爬取源代码练习评测结果
4.1网站分析
4.2编写爬虫
4.3运行并查看结果
4.4本章小结
第5章爬取网络中的小说和购物评论
5.1下载网络小说
5.1.1分析网页
5.1.2编写爬虫
5.1.3运行并查看TXT文件
5.2下载购物评论
5.2.1查看网络数据
5.2.2编写爬虫
5.2.3数据下载结果与爬虫分析
5.3本章小结
第6章爬取新浪财经股票资讯
6.1编写爬虫
6.2运行并查看结果
6.3展示网页
6.4本章小结
第7章爬取豆瓣电影海报
7.1豆瓣网站分析与爬虫设计
7.1.1从需求出发
7.1.2处理登录问题
7.2编写爬虫
7.2.1爬虫脚本
7.2.2程序分析
7.3运行并查看结果
7.4本章小结
第8章爬取免费IP代理项目
8.1代理服务器的分类
8.2网站分析
8.3编写爬虫
8.4运行并查看结果
8.5本章小结
第9章爬取微信群聊成员信息
9.1用Selenium爬取Web端微信信息
9.2基于Python的微信API工具
9.3爬虫的部署和管理
9.3.1配置远程主机
9.3.2编写本地爬虫
9.3.3部署爬虫
9.3.4查看运行结果
9.3.5使用爬虫管理框架
9.4本章小结
第10章爬取网易跟帖
10.1网页自动化工具的简介
10.2分析网页
10.3编写爬虫
10.4运行并通过MongoDB查看数据
10.5本章小结
第三部分框架应用篇
第11章爬取机场航班信息
11.1分析网页
11.2编写爬虫
11.3爬虫的使用说明
11.4本章小结
第12章爬取拼多多商品的评论数据
12.1分析网页
12.2环境搭建
12.3编写爬虫
12.4运行并查看数据库MongoDB
12.5本章小结
第13章使用爬虫框架Gain和PySpider
13.1Gain框架
13.2使用Gain做简单爬取
13.3PySpider框架
13.4使用PySpider进行爬取
13.5本章小结
第14章爬取新浪新闻并通过客户端展示
14.1项目分析
14.2创建数据库
14.3设置页面下载器
14.4生产者消费者模型
14.5客户端界面设计
14.6本章小结
第15章爬取某机场航班出发时间数据
15.1程序设计
15.1.1分析网页
15.1.2将数据保存到数据库
15.2编写爬虫
15.2.1前置准备
15.2.2代码编写
15.2.3运行并查看数据库中的结果
15.3本章小结
第四部分爬虫应用场景及数据处理篇
第16章用爬虫和Flask搭建新闻接口服务
16.1编写爬虫
16.1.1爬取数据源网页
16.1.2搭建Flask服务
16.1.3程序代码详情
16.2本章小结
第17章网易云音乐评论内容的爬取与分析
17.1jieba库
17.2WordCloud库
17.3网页分析
17.4编写爬虫
17.5运行结果
17.6本章小结
第18章爬取二手房数据并绘制热力图
18.1数据爬取
18.1.1分析网页
18.1.2地址转换成经纬度
18.1.3编写爬虫
18.1.4数据下载结果
18.2绘制热力图
18.3本章小结
第19章用爬虫数据搭建附近二手房价格搜索引擎
19.1编写爬虫
19.1.1准备数据
19.1.2安装以及使用ES
19.1.3实现房价地理位置坐标搜索的搜索引擎
19.2本章小结
第20章爬取豆瓣电影影评并简单分析数据
20.1需求分析与爬虫设计
20.1.1网页分析
20.1.2函数设计
20.2编写爬虫
20.2.1编写程序
20.2.2可能的改进
20.3本章小结
第21章爬取用户影评数据并通过推荐算法推荐电影
21.1明确目标与数据准备
21.1.1明确目标
21.1.2数据采集与处理
21.1.3工具选择
21.2初步分析
21.2.1用户角度分析
21.2.2电影角度分析
21.3用推荐算法实现电影推荐
21.4本章小结
参考文献