精通Python爬虫框架Scrapy

Scrapy是使用Python开发的一个快速、高层次的 屏幕抓取和Web抓取框架，用于抓Web站点并从页面中 提取结构化的数据。迪米特里奥斯·考奇斯-劳卡斯著 的《精通Python爬虫框架Scrapy》以Scrapy1.0版本 为基础，讲解了Scrapy的基础知识，以及如何使用 Python和三方API提取、整理数据，以满足自己的需 求。 本书共11章，其内容涵盖了Scrapy基础知识，理 解HTML和XPath，安装Scrapy并爬取一个网站，使用 爬虫填充数据库并输出到移动应用中，爬虫的强大功 能，将爬虫部署到Scrapinghub云服务器，Scrapy的 配置与管理，Scrapy编程，管道秘诀，理解Scrapy性 能，使用Scrapyd与实时分析进行分布式爬取。本书 附录还提供了各种软件的安装与故障排除等内容。 本书适合软件开发人员、数据科学家，以及对自 然语言处理和机器学习感兴趣的人阅读。

李斌，毕业于北京科技大学计算机科学与技术专业，获得硕士学位。曾任职于阿里巴巴，当前供职于凡普金科，负责应用安全工作。热爱Python编程和Web安全，希望以更加智能和自动化的方式提升网络安全。

第1章 Scrapy简介 1.1 初识Scrapy 1.2 喜欢Scrapy的更多理由 1.3 关于本书：目标和用途 1.4 掌握自动化数据爬取的重要性 1.4.1 开发健壮且高质量的应用，并提供合理规划 1.4.2 快速开发高质量可行产品 1.4.3 Google不会使用表单，爬取才能扩大规模 1.4.4 发现并融入你的生态系统 1.5 在充满爬虫的世界里做一个好公民 1.6 Scrapy不是什么 1.7 本章小结 第2章 理解HTML和XPath 2.1 HTML、DOM树表示以及XPath 2.1.1 URL 2.1.2 HTML文档 2.1.3 树表示法 2.1.4 你会在屏幕上看到什么 2.2 使用XPath选择HTML元素 2.2.1 有用的XPath表达式 2.2.2 使用Chrome获取XPath表达式 2.2.3 常见任务示例 2.2.4 预见变化 2.3 本章小结 第3章 爬虫基础 3.1 安装Scrapy 3.1.1 MacOS 3.1.2 Windows 3.1.3 Linux 3.1.4 新源码安装 3.1.5 升级Scrapy 3.1.6 Vagrant：本书中运行示例的官方方式 3.2 UR2IM——基本抓取流程 3.2.1 URL 3.2.2 请求和响应 3.2.3 Item 3.3 一个Scrapy项目 3.3.1 声明item 3.3.2 编写爬虫 3.3.3 填充item 3.3.4 保存文件 3.3.5 清理——item装载器与管理字段 3.3.6 创建contract 3.4 抽取更多的URL 3.4.1 使用爬虫实现双向爬取 3.4.2 使用CrawlSpider实现双向爬取 3.5 本章小结 第4章 从Scrapy到移动应用 4.1 选择手机应用框架 4.2 创建数据库和集合