Python网络爬虫基础教程(工业和信息化精品系列教材)

1.本书编写时充分考虑初学者的阅读体验，语言通俗易懂，也非常适合老师教学。 2.本书配置了丰富的实践项目，大多由传智项目库提供，项目变动小，降低了因网站变动而导致项目不可用的风险。 3.本书涵盖知识点全面，知识细节丰富，系统性强。 4.配套资源更丰富、教学服务更周到（免费提供各类教学资源，协助老师答疑解惑，定制教学资源，定期提供各类学习资源）。

网络爬虫是一种按照一定的规则，自动请求万维网网站并采集网页数据的程序或脚本。它可以代替人进行信息采集，能够自动采集并高效利用互联网中的数据，因此在市场的应用需求中占据重要位置。 本书以Windows为主要开发平台，系统地讲解Python网络爬虫的相关知识。本书的主要内容包括认识网络爬虫、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、提升网络爬虫速度、存储数据、验证码识别、初识网络爬虫框架Scrapy、Scrapy核心组件与CrawlSpider类、分布式网络爬虫Scrapy-Redis。 本书可以作为高等院校计算机相关专业程序设计课程的教材、Python网络爬虫的相关培训教材，以及广大编程开发者的网络爬虫入门级教材。

黑马程序员，传智播客旗下高端教育品牌，成立于2006年，它是由中国Java培训先行者张孝祥老师发起，联合全球优选的中文IT社区CSDN、中关村软件园共同创办的一家专业教育机构。办学至今，我们一直坚守着“为千万人少走弯路而著书，为中华软件之崛起而讲课”的办学理念，坚持培养优秀软件应用工程师的宏伟目标，在累计培养的十万余名学员中。

第1章 认识网络爬虫
1.1 什么是网络爬虫
1.2 网络爬虫的应用场景
1.3 网络爬虫合法性探究
1.3.1 Robots协议
1.3.2 防爬虫应对策略
1.4 网络爬虫的工作原理和流程
1.4.1 网络爬虫的工作原理
1.4.2 网络爬虫抓取网页的流程
1.5 网络爬虫实现技术探究
1.5.1 网络爬虫的实现技术
1.5.2 Python实现网络爬虫的流程
1.6 本章小结
1.7 习题
第2章 网页请求原理
2.1 浏览器加载网页的过程
2.2 HTTP基础
2.2.1 URL简介
2.2.2 HTTP和HTTPS
2.2.3 HTTP请求格式
2.2.4 HTTP响应格式
2.3 网页基础
2.3.1 网页开发技术
2.3.2 网页的结构
2.3.3 网页的分类
2.3.4 网页数据的格式
2.4 HTTP抓包工具——Fiddler
2.4.1 Fiddler的工作原理
2.4.2 Fiddler的下载与安装
2.4.3 Fiddler界面详解
2.4.4 Fiddler捕获HTTPS页面的设置
2.4.5 Fiddler的基本使用
2.5 本章小结
2.6 习题
第3章 抓取静态网页数据
3.1 抓取静态网页的技术
3.2 发送基本请求
3.2.1 发送GET请求
3.2.2 发送POST请求
3.2.3 处理响应
3.3 处理复杂请求
3.3.1 定制请求头
3.3.2 验证Cookie
3.3.3 保持会话
3.3.4 SSL证书验证
3.4 设置代理服务器
3.4.1 代理服务器简介
3.4.2 设置代理服务器
3.4.3 检测代理IP的有效性
3.5 处理异常
3.6 实践项目：抓取黑马程序员论坛的数据
【项目目标】
【项目分析】
【项目实现】
3.7 本章小结
3.8 习题
第4章 解析网页数据
第5章 抓取动态网页数据
第6章 提升网络爬虫速度
第7章 存储数据
第8章 验证码识别
第9章 初识网络爬虫框架Scrapy
第10章 Scrapy核心组件与CrawlSpider类
第11章 分布式网络爬虫Scrapy-Redis