Python爬虫实战进阶

本书主要满足网络爬虫 从业者提升技术能力的需求 。本书共9章，涉及经典爬 虫框架Scrapy的架构、异步 爬虫的原理及其实现、异步 自动化浏览器控制库 pyppeteer的使用、当下流 行的反爬虫原理及其处理方 案、基于常用通信中间件的 分布式爬虫框架开发、 Python常用的编码和加密的 应用、针对前端深入的 JavaScript分析策略和安全 策略、网络搜索引擎的原理 和技术实现，并在最后一章 创建了一个垂直领域的搜索 引擎系统。 本书面向网络爬虫开发 的初、中级开发人员，以及 对网络爬虫有一定基础的兴 趣爱好者。

第1章 Scrapy框架 1.1 关于Scrapy 1.1.1 Serapy简介 1.1.2 Scrapy安装 1.2 Scrapy基础 1.2.1 Scrapy测试流程 1.2.2 Scrapy开发流程 1.2.3 Scrapy框架架构 1.2.4 Request对象和Response对象 1.2.5 HTML页面解析 1.2.6 HTML页面泛解析 1.3 爬虫组件 1.3.1 基础爬虫 1.3.2 通用爬虫 1.4 中间件组件 1.4.1 爬虫中间件 1.4.2 下载中间件 1.4.3 随机UserAgent中间件 1.4.4 Selenium中间件 1.4.5 pyppeteer中间件 1.5 数据管道组件 1.5.1 自定义Pipeline 1.5.2 文件下载Pipeline 1.5.3 文件下载案例 1.6 数据导出器组件 1.6.1 内置数据导出器 1.6.2 自定义数据导出器 1.7 分布式Scrapy 1.7.1 分布式架构 1.7.2 分布式通信队列 1.7.3 分布式爬虫 1.7.4 分布式调度 1.7.5 分布式去重 1.7.6 自定义去重组件 1.7.7 基本开发流程 1.8 Scrapy参考手册 1.8.1 常用命令 1.8.2 常用配置项 1.9 案例：使用Scrapy获取商品信息 1.9.1 项目需求 1.9.2 项目分析 1.9.3 编码实现 1.9.4 容器化部署 第2章 异步爬虫 2.1 异步I/O与协程 2.1.1 迭代器与生成器 2.1.2 yield from关键字 2.1.3 Python协程原理 2.2 asyncio异步框架 2.2.1 创建可等待对象