Python网络爬虫实战

本书基于Python3，系统全面地讲解了Python网络爬虫的基础知识。全书共分11章，内容包括网络爬虫概述、网页请求原理与爬虫基础、urllib库与异常处理、requests库、数据解析技术、BeautifulSoup库、动态页面爬取、爬虫数据的存储、爬虫框架Scrapy、CrawlSpider、图像识别与文字处理。本书适合作为高等职业院校电子信息类各专业的教材，也可作为培训学校的培训教材，以及Python爬虫爱好者的自学用书。

第1章网络爬虫概述
1.1爬虫产生背景
1.1.1企业产生的数据
1.1.2数据平台购买的数据
1.1.3政府／机构公开的数据
1.1.4数据管理咨询公司的数据
1.1.5爬取的网络数据
1.2爬虫的概念
1.3爬虫的用途
1.4爬虫的组成
1.5爬虫的类型
1.5.1通用爬虫
1.5.2聚焦爬虫
1.5.3累积式和增量式爬虫
1.5.4表层爬虫和深层爬虫
第2章网页请求原理与爬虫基础
2.1爬虫实现原理
2.1.1通用爬虫
2.1.2聚焦爬虫
2.2HTTP基础
2.2.1HTTP与HTTPS
2.2.2HTTP请求过程
2.2.3客户端请求
2.2.4服务端响应
2.3网页基础
2.4抓包工具Fiddler
2.4.1Fiddler简介
2.4.2Fiddler工作原理与界面
2.4.3Fiddler爬取HTTPS设置
2.4.4Fiddler捕获Chrome会话
第3章urllib库与异常处理
3.1urllib库简介
3.1.1快速使用Urllib爬取网页
3.1.2urllib数据传输
3.1.3浏览器模拟——Headers请求伪装
3.2代理服务器设置
3.3超时设置
3.4异常处理
3.4.1URLError
3.4.2HTTPError
3.5urllib库爬虫实战——百度贴吧
第4章requests库
4.1requests库概述
4.1.1实例引入
4.1.2request
4.1.3response
4.1.4Robots协议
4.2高级用法
4.2.1文件上传
4.2.2Cookies
4.2.3SSL证书验证
4.2.4会话保持
第5章数据解析技术
5.1网页数据和结构
5.1.1网页数据格式
5.1.2网页结构
5.2lxml
5.2.1安装lxml
5.2.2lxml库的使用
5.3XPath
5.3.1节点关系
5.3.2XPath语法
5.3.3节点轴
5.4pyquery
5.4.1pyquery安装
5.4.2使用pyquery
第6章BeautifulSoup库
6.1BeautifulSoup简介
6.1.1Windows下安装BeautifulSoup
6.1.2Linux下安装BeautifulSoup
6.1.3创建BeautifulSoup对象
6.2对象种类
6.2.1Tag
6.2.2NavigableString
6.2.3BeautifulSoup
6.2.4Comment
6.3遍历文档树
6.3.1子节点
6.3.2父节点
6.3.3兄弟节点
6.3.4前后节点
6.3.5搜索文档树
6.3.6CSS选择器
第7章动态页面爬取
7.1动态网页介绍
7.1.1JavaScript
7.1.2jQuery
7.1.3AJAX
7.1.4DHTML
7.2安装Selenium和PhantomJS模块
7.2.1Selenium下载安装
7.2.2PhantomJS下载安装
7.3selenium和PhantomJS基本操作
7.3.1基本使用
7.3.2声明浏览器对象
7.3.3节点查找
7.3.4鼠标动作链
7.3.5填充表单
7.3.6弹窗处理
7.3.7页面切换
7.3.8页面前进和后退
7.3.9Cookies
7.3.10页面等待
7.4案例——模拟登录QQ邮箱
7.5案例——模拟登录物联网融合云平台
第8章爬虫数据的存储
8.1数据存储概述
8.2文件存储
8.2.1TXT文本存储
8.2.2JSON文件存储
8.2.3把数据存储到CSV
8.3数据库存储
8.3.1MySQL
8.3.2MongoDB
8.4使用MySQL存储网站电影信息
8.4.1页面分析
8.4.2爬取全部页面
8.4.3通过bs4选取数据
8.4.4通过MySQL存储电影信息
8.5使用MongoDB存储网站音乐信息
8.5.1页面分析
8.5.2爬取全部页面
8.5.3通过bs4选取数据
8.5.4通过MongoDB存储音乐信息
第9章爬虫框架Scrapy
9.1常见Pthion爬虫框架
9.2Scrapy安装与配置
9.2.1Windows下的安装与配置
9.2.2Linux下的安装与配置
9.2.3MAC下的安装与配置
9.3scrapy基本操作
9.3.1项目创建
9.3.2文件介绍
9.3.3代码编写
9.3.4常用命令
9.4Scrapy架构
9.4.1Scrapy框架介绍
9.4.2数据流
第10章CrawlSpider
10.1CrawlSpider简介
10.2LinkExtractor链接提取
10.3ClawlSpider实战
第11章图像识别与文字处理
11.1OCR概述
11.1.1Tesseract
11.1.2Pillow和pytesseract
11.2处理规范格式的文字
11.3验证码读取