Python爬虫与反爬虫开发从入门到精通

随着网络技术的迅速发展，如何有效地提取并利用信息，以及如何有效地防止信息被爬取，已成为一个巨大的挑战。本书从零开始系统地介绍了Python网络爬虫与反爬虫的开发与实战技能，全书共分为4篇，具体内容安排如下。 第1篇：基础篇（第1～3章）。系统地讲解了Python爬虫与反爬虫开发环境的搭建、爬虫与反爬虫通用基础知识、Python编程基础。 第2篇：爬虫篇（第4～8章）。这部分讲解了网络爬虫的相关知识与技能，主要包括网络爬虫快速入门、XPath匹配网页数据、re正则匹配数据、WebSocket数据抓取、Scrapy爬虫框架应用与开发等。 第3篇：反爬虫篇（第9～16章）。这部分讲解了网络反爬虫的相关知识与技能，主要包括爬虫与反爬虫的区别与认识、反爬—Header信息校验、反爬—IP限制、反爬—动态渲染页面、反爬—文本混淆、反爬—特征识别、反爬—验证码识别、反爬—APP数据抓取等。 第4篇：实战篇（第17章）。本篇主要列举了4个案例，综合讲解Python爬虫与反爬虫项目的实战应用。 本书从零基础开始讲解，系统全面，案例丰富，注重实战，既适合Python程序员和爬虫爱好者阅读学习，也可以作为广大职业院校相关专业的教材或参考用书。

刘延林，云镜团队创始人，拥有多年网络爬虫开发经验，著有《Python网络爬虫开发从入门到精通》，擅长Python网络爬虫、Web、数据挖掘与分析、网络安全、产品研发等领域。

第1篇 基础篇 第1章 爬虫与反爬虫开发环境搭建　/2 1.1　Python 3环境搭建　/3 1.2　PyCharm的安装与基本使用　/7 1.3　Tesseract-OCR　/16 1.4　mitmproxy　/18 1.5　JDK 1.8　/22 本章小结　/24 第2章　爬虫与反爬虫通用基础知识　/25 2.1　网页基础　/26 2.2　网络传输协议　/28 2.3　Session和Cookies　/31 2.4　Nginx服务器　/34 2.5　代理IP　/36 2.6　HTTP接口概念　/40 2.7　新手问答　/40 本章小结　/41 第3章　Python编程基础　/42 3.1　Python的基础语法　/43 3.2　基本数据类型　/49 3.3　流程控制　/55 3.4　函数　/60 3.5　文件操作　/61 3.6　面向对象　/64 3.7　多线程　/68 3.8　新手实训　/70 3.9　新手问答　/71 本章小结　/72 第2篇　爬虫篇 第4章　网络爬虫快速入门　/74 4.1　爬虫的基本结构及工作流程　/75 4.2　urllib网络请求库　/75 4.3　requests网络请求库　/82 4.4　urllib3网络请求库　/86 4.5　Postman接口测试工具　/90 4.6　新手实训　/95 4.7　新手问答　/95 本章小结　/96 第5章　XPath匹配网页数据　/97 5.1　安装XPath　/98 5.2　XPath的基础语法　/98 5.3　在Python中使用XPath匹配数据　/99 5.4　XPath表达式技巧　/103 5.5　扩展补充知识点　/105 5.6　新手实训　/107 5.7　新手问答　/109 本章小结　/109 第6章　re正则匹配数据　/110 6.1　re.compile函数　/111 6.2　re.match函数　/111 6.3　re.search函数　/113 6.4　re.match与re.search的区别　/114 6.5　检索和替换　/114 6.6　findall函数　/115 6.7　常见正则表达式写法　/116 6.8　新手实训　/117 6.9　新手问答　/119 本章小结　/120 第7章　WebSocket数据抓取　/121 7.1　WebSocket通信原理　/122 7.2　使用aioWebSocket获取数据　/122 7.3　新手实训　/129 7.4　新手问答　/131 本章小结　/131 第8章　Scrapy爬虫框架应用与开发　/132 8.1　Scrapy框架的基本架构　/133 8.2　安装Scrapy　/134 8.3　创建项目　/135 8.4　定义Item　/135 8.5　编写第一个Spider　/136 8.6　运行爬虫　/137 8.7　提取Item　/137 8.8　在Shell中尝试Selector选择器　/138 8.9　提取数据　/139 8.10　使用Item　/140 8.11　Item Pipeline　/141 8.12　将Item写入JSON文件　/142 8.13　新手实训　/143 8.14　新手问答　/146 本章小结　/146 第3篇　反爬虫篇 第9章　爬虫与反爬虫　/148 9.1　爬虫知识的回顾与总结　/149 9.2　反爬虫的概念与定义　/154 本章小结　/155 第10章　反爬—Header信息校验　/156 10.1　User-Agent　/157 10.2　Cookie校验　/162 10.3　Referer校验　/165 10.4　签名校验　/166 10.5　新手实训　/170 10.6　新手问答　/176 本章小结　/176 第11章　反爬—IP限制　/177 11.1　代理设置　/178 11.2　代理池构建　/179 11.3　搭建自己的代理服务器　/183 11.4　使用Nginx实现封禁IP　/194 11.5　新手问答　/195 本章小结　/196 第12章　反爬—动态渲染页面　/197 12.1　动态渲染案例介绍　/198 12.2　常见应对动态渲染页面的解决办法　/201 12.3　使用Selenium爬取动态渲染页面　/201 12.4　获取浏览器Network请求和响应　/218 12.5　新手实训　/222 12.6　新手问答　/224 本章小结　/225 第13章　反爬—文本混淆　/226 13.1　图片伪装反爬　/227 13.2　CSS偏移反爬　/231 13.3　编码映射反爬　/238 13.4　字体反爬　/242 13.5　新手实训　/248 13.6　新手问答　/252 本章小结　/252 第14章　反爬—特征识别　/253 14.1　浏览器指纹　/254 14.2　WebDriver驱动识别　/255 14.3　使用mitmproxy　/262 14.4　网页精灵　/269 14.5　新手实训　/275 14.6　新手问答　/277 本章小结　/277 第15章　反爬—验证码识别　/278 15.1　普通图形验证码　/279 15.2　滑动验证码　/281 15.3　滑动拼图验证码　/285 15.4　新手实训　/292 15.5　新手问答　/294 本章小结　/295 第16章　反爬—APP数据抓取　/296 16.1　APP的抓包分析　/297 16.2　Appium自动化　/310 16.3　APK安装包反编译　/324 16.4　APK反编译知识补充　/327 16.5　新手实训　/327 16.6　新手问答　/332 本章小结　/332 第4篇　实战篇 第17章　项目实战　/334 17.1　土地市场网——地块公示　/335 17.2　纽约工商数据采集　/348 17.3　携程旅行火车票票价数据采集　/356 17.4　智联招聘数据采集　/361 附录A　爬虫法律法规　/368 附录B　实验环境的搭建方法及说明　/371 附录C　Python常见面试题精选　/375