Python爬虫与反爬虫开发从入门到精通

爬虫工程师不容错过的教程：以爬虫之矛攻取反爬虫之盾，如何在对立统一中寻求技术突破？Python爬虫与反爬虫，攻防兼备，见招拆招。

随着网络技术的迅速发展，如何有效地提取并利用信息，以及如何有效地防止信息被爬取，己成为一个巨大的挑战。本书从零开始系统地介绍了Python网络爬虫与反爬虫的开发与实战技能，全书共分为4篇，具体内容安排如下。 第1篇：基础篇（第1～3章）。系统地讲解了Python爬虫与反爬虫开发环境的搭建、爬虫与反爬虫通用基础知识、Python编程基础。 第2篇：爬虫篇（第4～8章）。这部分讲解了网络爬虫的相关知识与技能，主要包括网络爬虫快速入门、XPath匹配网页数据、re正则匹配数据、WebSocket数据抓取、Scrapy爬虫框架应用与开发等。 第3篇：反爬虫篇（第9～16章）。这部分讲解了网络反爬虫的相关知识与技能，主要包括爬虫与反爬虫的区别与认识、反爬-Header信息校验、反爬-IP、反爬-动态渲染页面、反爬-文本混淆、反爬-特征识别、反爬-验证码识别、反爬-APP数据抓取等。 第4篇：实战篇（第17章）。本篇主要列举了4个案例，综合讲解Python爬虫与反爬虫项目的实战应用。 本书从零基础开始讲解，系统全面，案例丰富，注重实战，既适合Python序员和爬虫爱好者阅读学习，也可以作为广大职业院校相关专业的教材或参考用书。

刘延林，云镜团队创始人，拥有多年网络爬虫开发经验，著有《Python网络爬虫开发从入门到精通》，擅长Python网络爬虫、Web、数据挖掘与分析、网络安全、产品研发等领域。

第1篇 基础篇
第1章 爬虫与反爬虫开发环境搭建
1.1 Python 3环境搭建
1.1.1 下载Python 3安装包
1.1.2 安装Python
1.1.3 pip包管理工具
1.2 PyCharm的安装与基本使用
1.2.1 安装PyCharm
1.2.2 创建Python项目
1.2.3 debug调试代码
1.2.4 创建venv虚拟环境
1.3 Tesseract-OCR
1.3.1 下载
1.3.2 安装
1.3.3 配置环境变量
1.4 mitmproxy
1.4.1 下载
1.4.2 安装
1.4.3 安装SSL证书
1.5.1 下载JDK
1.5.2 安装
1.5.3 测试是否安装成功
本章小结
第2章 爬虫与反爬虫通用基础知识
2.1 网页基础
2.1.1 网页的组成
2.1.2 网页的类型
2.2 网络传输协议
2.2.1 认识HTTP
2.2.2 HTTPS
2.2.3 HTTP与HTTPS请求过程示例
2.3 Session和Cookies
2.3.1 Cookie
2.3.2 Session
2.3.3 Session和Cookie的区别
2.3.4 常见误区
2.4 Nginx服务器
2.4.1 Nginx信号
2.4.2 反向代理
2.4.3 Nginx中实现反向代理
2.5 代理IP
2.5.1 原理
2.5.2 分类
2.5.3 获取途径
2.6 HTTP接口概念
2.7 新手问答
本章小结
第3章 Python编程基础
3.1 Python的基础语法
3.1.1 第一个Python程序
3.1.2 运行程序
3.1.3 注释
3.1.4 行与缩进
3.1.5 多行语句
3.1.6 import与from…import导入模块
3.1.7 变量
3.2 基本数据类型
3.2.1 Number
3.2.2 String
3.2.3 List
3.2.4 Tuple
3.2.5 Dictionary
3.2.6 Set
3.2.7 布尔类型
3.3 流程控制
3.3.1 条件控制
3.3.2 循环
3.3.3 range()函数
3.3.4 break和continue语句
3.3.5 pass
3.4 函数
3.4.1 定义一个函数
3.4.2 调用函数
3.5 文件操作
3.5.1 txt文件读写
3.5.2 csv文件读写
3.6 面向对象
3.6.1 类
3.6.2 类对象
3.6.3 类方法
3.6.4 继承
3.7 多线程
3.7.1 threading
3.7.2 多线程装饰器封装
3.8 新手实训
3.9 新手问答
本章小结
第2篇 爬虫篇
第4章 网络爬虫快速入门
4.1 爬虫的基本结构及工作流程
4.2 urllib网络请求库
4.2.1 请求一个简单的网页
4.2.2 设置请求超时
4.2.3 使用data参数提交数据
4.2.4 Request
4.3 requests网络请求库
4.3.1 requests模块的安装
4.3.2 请求第一个网页
4.3.3 get和post请求
4.3.4 参数提交
4.4 urllib3网络请求库
4.4.1 发起请求
4.4.2 响应内容
4.4.3 查询参数
4.4.4 表单数据
4.4.5 提交JSON数据
4.5 Postman接口测试工具
4.5.1 请求接口
4.5.2 常用功能介绍
4.6 新手实训
4.7 新手问答
本章小结
第5章 XPath匹配网页数据
5.1 安装XPath
5.2 XPath的基础语法
5.3 在Python中使用XPath匹配数据
5.3.1 根据class属性进行匹配
5.3.2 根据id属性进行匹配
5.3.3 根据name属性进行匹配
5.4 XPath表达式技巧
5.5 扩展补充知识点
5.5.1 Selector
5.5.2 BeautifulSoup
5.6 新手实训
5.7 新手问答
本章小结
第6章 re正则匹配数据
6.1 re.compile函数
6.2 re.match函数
6.3 re.search函数
6.4 re.match与re.search的区别
6.5 检索和替换
6.6 findall函数
6.7 常见正则表达式写法
6.8 新手实训
6.9 新手问答
本章小结
第7章 WebSocket数据抓取
7.1 WebSocket通信原理
7.2 使用aioWebSocket获取数据
7.2.1 安装AioWebSocket
7.2.2 分析WebSocket请求
7.2.3 编写代码获取数据
7.3 新手实训
7.4 新手问答
本章小结
第8章 Scrapy爬虫框架应用与开发
8.1 Scrapy框架的基本架构
8.1.1 Scrapy的基本组件
8.1.2 工作原理
8.2 安装Scrapy
8.3 创建项目
8.4 定义Item
8.5 编写第一个Spider
8.6 运行爬虫
8.7 提取Item
8.8 在Shell中尝试Selector选择器
8.9 提取数据
8.10 使用Item
8.11 ItemPipeline
8.12 将Item写入JSON文件
8.13 新手实训
8.14 新手问答
本章小结
第3篇 反爬虫篇