Python网络爬虫实战(第2版)

网络爬虫，又被称为网 页蜘蛛、网络机器人，是一 种按照一定的规则，自动地 抓取互联网信息的程序或者 脚本。很多站点，尤其是搜 索引擎，都使用爬虫（它主 要用于提供访问页面的一个 副本）提供最新的数据，然 后，搜索引擎对得到的页面 进行索引，以便快速访问。 爬虫也可以用来在Web上自 动执行一些任务，例如检查 链接、确认HTML代码；还 可以用来抓取网页上某种特 定类型的信息，例如电子邮 件地址（通常用于垃圾邮件 ）。因此，网络爬虫技术对 互联网企业具有很大的应用 价值。 本书从Python 3.6.4最基 础的部分讲起，延伸到 Python最流行的应用方向之 一——网络爬虫，讲解目前 流行的几种Python爬虫框架 ，并给出详细示例，以帮助 读者学习Python并开发出符 合自己要求的网络爬虫。

胡松涛，高级工程师，20多年I行业从业经验。参与过多个Linux开源项目，github知名代码分享者，活跃于国内著名的多个开源论坛。著有图书《Python 3网络爬虫实战》《Python网络爬虫实战》《树莓派开发从零开始学—超好玩的智能小硬件制作书》。

第1章 Python环境配置 1.1 Python简介 1.1.1 Python的历史由来 1.1.2 Python的现状 1.1.3 Python的应用 1.2 Python 3.6.4开发环境配置 1.2.1 Windows下安装Python 1.2.2 Windows下安装配置pip 1.2.3 Linux下安装Python 1.2.4 Linux下安装配置pip 1.2.5 永远的hello world 1.3 本章小结 第2章 Python基础 2.1 Python变量类型 2.1.1 数字 2.1.2 字符串 2.1.3 列表 2.1.4 元组 2.1.5 字典 2.2 Python语句 2.2.1 条件语句——if else 2.2.2 有限循环——for 2.2.3 无限循环——while 2.2.4 中断循环——continue、break 2.2.5 异常处理——try except 2.2.6 导入模块——import 2.3 函数和类 2.3.1 函数 2.3.2 类 2.4 Python内置函数 2.4.1 常用内置函数 2.4.2 高级内置函数 2.5 Python代码格式 2.5.1 Python代码缩进 2.5.2 Python命名规则 2.5.3 Python代码注释 2.6 Python调试 2.6.1 Windows下IDLE调试 2.6.2 Linux下pdb调试 2.7 本章小结 第3章 简单的Python脚本 3.1 九九乘法表 3.1.1 Project分析 3.1.2 Project实施 3.2 斐波那契数列 3.2.1 Project分析 3.2.2 Project实施 3.3 概率计算 3.3.1 Project分析 3.3.2 Project实施 3.4 读写文件 3.4.1 Project分析 3.4.2 Project实施 3.5 类的继承与重载 3.5.1 Project1分析 3.5.2 Project1实施 3.5.3 Project2分析 3.5.4 Project2实施 3.6 多线程 3.6.1 Project1分析 3.6.2 Project1实施 3.6.3 Project2分析 3.6.4 Project2实施 3.7 本章小结 第4章 Python爬虫常用模块 4.1 网络爬虫技术核心 4.1.1 网络爬虫实现原理 4.1.2 爬行策略 4.1.3 身份识别 4.2 Python3标准库之urllib.request模块 4.2.1 urllib.request请求返回网页 4.2.2 urllib.request使用代理访问网页 4.2.3 urllib.request修改header 4.3 Python3标准库之logging模块 4.3.1 简述logging模块 4.3.2 自定义模块myLog 4.4 re模块（正则表达式） 4.4.1 re模块（正则表达式操作） 4.4.2 re模块实战 4.5 其他有用模块 4.5.1 sys模块（系统参数获取） 4.5.2 time模块（获取时间信息） 4.6 本章小结 第5章 Scrapy爬虫框架 5.1 安装Scrapy 5.1.1 Windows下安装Scrapy环境 5.1.2 Linux下安装Scrapy 5.1.3 vim编辑器 5.2 Scrapy选择器XPath和CSS 5.2.1 XPath选择器 5.2.2 CSS选择器 5.2.3 其他选择器 5.3 Scrapy爬虫实战一：今日影视 5.3.1 创建Scrapy项目 5.3.2 Scrapy文件介绍 5.3.3 Scrapy爬虫编写 5.4 Scrapy爬虫实战二：天气预报 5.4.1 项目准备 5.4.2 创建编辑Scrapy爬虫 5.4.3 数据存储到json 5.4.4 数据存储到MySQL 5.5 Scrapy爬虫实战三：获取代理 5.5.1 项目准备 5.5.2 创建编辑Scrapy爬虫 5.5.3 多个Spider 5.5.4 处理Spider数据 5.6 Scrapy爬虫实战四：糗事百科 5.6.1 目标分析 5.6.2 创建编辑Scrapy爬虫 5.6.3 Scrapy项目中间件——添加headers 5.6.4 Scrapy项目中间件——添加proxy 5.7 Scrapy爬虫实战五：爬虫攻防 5.7.1 创建一般爬虫 5.7.2 封锁间隔时间破解 5.7.3 封锁Cookies破解 5.7.4 封锁User-Agent破解 5.7.5 封锁IP破解 5.8 本章小结 第6章 Beautiful Soup爬虫 6.1 安装Beautiful Soup环境 6.1.1 Windows下安装Beautiful Soup 6.1.2 Linux下安装Beautiful Soup 6.1.3 最强大的IDE——Eclipse 6.2 Beautiful Soup解析器 6.2.1 bs4解析器选择 6.2.2 lxml解析器安装 6.2.3 使用bs4过滤器 6.3 bs4爬虫实战一：获取百度贴吧内容 6.3.1 目标分析 6.3.2 项目实施 6.3.3 代码分析 6.3.4 Eclipse调试 6.4 bs4爬虫实战二：获取双色球中奖信息 6.4.1 目标分析 6.4.2 项目实施 6.4.3 保存结果到Excel 6.4.4 代码分析 6.5 bs4爬虫实战三：获取起点小说信息 6.5.1 目标分析 6.5.2 项目实施 6.5.3 保存结果到MySQL 6.5.4 代码分析 6.6 bs4爬虫实战四：获取电影信息 6.6.1 目标分析 6.6.2 项目实施 6.6.3 bs4反爬虫 6.6.4 代码分析 6.7 bs4爬虫实战五：获取音悦台榜单 6.7.1 目标分析 6.7.2 项目实施 6.7.3 代码分析 6.8本章小