Python爬虫从菜鸟到高手

本书从实战角度系统论 述了Python爬虫技术的核心 知识，并通过大量的真实项 目帮助读者深入掌握Python 爬虫技术及其实现。本书提 供了大量实战案例，演绎采 用各种技术编写Python爬虫 的方式。读者可以任意组合 使用这些技术，完成非常复 杂的爬虫应用。 本书共20章，分为五篇 。第一篇：基础知识（第1 ～2章），主要包括Python 编程环境的搭建、IDE的安 装和使用、HTTP的基础知 识、网页基础（HTML、 CSS、JavaScript）、爬虫 的基本原理、Session、 Cookie。第二篇：网络库（ 第3～5章），主要包括网络 库urllib、urllib3和requests 的核心使用方法，例如，发 送HTTP请求、处理超时、 设置HTTP请求头、处理中 文字符、搭建和使用代理、 解析链接、Robots协议等。 第三篇：解析库（第6～9章 ），主要包括3个常用解析 库（lxml、BeautifulSoup和 pyquery）的使用方法，同 时介绍了多种用于分析 HTML代码的技术，例如， 正则表达式、XPath、CSS 选择器、方法选择器等。第 四篇：数据存储（第10～ 11章），主要包括Python中 数据存储的解决方案，如文 件存储和SQLite数据库。第 五篇：爬虫高级应用（第12 ～20章），主要包括Python 爬虫的一些高级技术，如抓 取异步数据、Selenium、 Splash、抓取移动App数据 、Appium、多线程爬虫、 爬虫框架Scrapy、通过 OpenCV技术识别验证码； 最后给出一个综合的实战案 例，该案例综合了Python爬 虫、数据存储、PyQt、多线 程、数据可视化、Web等多 种技术实现一个可视化爬虫 。

李宁 华为HDE（HUAWEI Developer Experts)，UnityMarvel创始人，开放原子基金会银牌讲师，51CTO学堂金牌讲师，IT畅销书作者。从事软件研究和开发超过20年，长期从事编译器、人工智能、Python、JavaScript、Java及跨平台技术的研究和开发工作，曾出版超过40本IT图书。

第一篇 基础知识 第1章 开发环境配置 6分钟 1.1 搭建Python编程环境 1.1.1 获取Python安装包 1.1.2 安装Windows版的Python开发包 1.1.3 安装macOS版的Python开发包 1.1.4 安装Linux版的Python开发包 1.2 安装AnacondaPython开发环境 1.3 消除PythonREPL中的错误和警告 1.4 安装PyCharm 1.5 配置PyCharm 1.6 小结 第2章 爬虫基础 10分钟 2.1 HTTP基础 2.1.1 URI和URL 2.1.2 超文本 2.1.3 HTTP与HTTPS 2.1.4 HTTP的请求过程 2.1.5 请求 2.1.6 响应 2.2 网页基础 2.2.1 HTML基础 2.2.2 CSS基础 2.2.3 CSS选择器 2.2.4 JavaScript 2.3 爬虫的基本原理 2.3.1 爬虫的分类 2.3.2 爬虫抓取数据的方式和手段 2.4 Session与Cookie 2.4.1 静态页面和动态页面 2.4.2 无状态HTTP与Cookie 2.4.3 利用Session和Cookie保持状态 2.4.4 查看网站的Cookie 2.4.5 HTTP状态何时会失效 2.5 项目实战：抓取所有的网络资源 实例2.1 基于递归算法的爬虫的代码 2.6 项目实战：抓取博客文章列表 实例2.2 抓取博客园首页文章列表的爬虫 2.7 小结 第二篇 网络库 第3章 网络库urllib 39分钟 3.1 urllib简介 3.2 发送请求与获得响应 3.2.1 用urlopen函数发送HTTPGET请求 实例3.1 使用HTTPResponse读取响应数据 3.2.2 用urlopen函数发送HTTPPOST请求 实例3.2 使用urlopen函数发送HTTPPOST请求，并获得返回数据