Python网络爬虫技术与应用

网络爬虫技术的重点之 一是网络爬虫框架，因此本 书结合网络爬虫框架的相关 案例重点介绍网络爬虫的常 见框架，包括PySpider网络 爬虫框架的安装和使用， Scrapy网络爬虫框架的安装 和使用，以及Scrapy网络爬 虫管理与部署。另外，本书 对Python网络爬虫开发需要 的reguests库、Scrapy解析 库、存储库、XPath进行了 介绍，并介绍了requests库 、正则表达式、XPath等的 使用方法，还重点讲解了这 些库的实际应用。 本书以Python网络爬虫 开发为主线，兼顾理论与实 战，全面介绍可操作的 Python环境与系统开发相关 知识，以及大数据算法、大 数据分析、大数据系统互补 的作用。另外，本书还赠送 课程大纲、教学课件PPT、 实验手册、各章习题及答案 、期末试卷及答案、教学和 实验视频，方便教师授课。 本书可作为高等院校大 数据、计算机、电子信息、 软件技术相关专业研究生和 高年级本科生的教材，也可 作为大数据及编程爱好者的 参考用书。

第1章 网络爬虫概述 1.1 网络爬虫简介 1.1.1 网络爬虫的概念与类别 1.1.2 网络爬虫的流程 1.1.3 网络爬虫的抓取 1.2 网络爬虫的攻防战 1.3 反网络爬虫技术及解决方案 1.4 本章习题 第2章 Python基本知识介绍 2.1 Python编程 2.1.1 Python的安装与环境配置 2.1.2 PyCharm的安装与使用 2.2 HTML基本原理 2.2.1 HTML简介 2.2.2 HTML的基本原理 2.3 基本库的使用 2.3.1 urllib库 2.3.2 requests库 2.3.3 re库 2.4 实战案例：百度新闻的抓取 2.5 本章习题 第3章 原生态网络爬虫开发 3.1 requests库详解 3.1.1 requests语法 3.1.2 requests库的使用 3.2 正则表达式 3.2.1 正则表达式详解与使用 3.2.2 Python与Excel 3.3 实战案例：环球新闻的抓取 3.4 本章习题 第4章 解析HTML内容 4.1 XPath的介绍与使用 4.1.1 XPath的介绍 4.1.2 XPath的使用 4.2 lxml库的安装与使用 4.2.1 lxml库的安装 4.2.2 lxml库的常见方法使用 4.3 Chrome浏览器分析网站 4.4 BeautifulSoup的安装与使用 4.5 实战案例：BeautifulSoup的使用 4.6 页面请求与JSON 4.6.1 JSON的介绍与应用 4.6.2 GET请求和POST请求 4.7 模拟浏览器 4.7.1 Selenium的介绍与安装 4.7.2 模拟点击 4.7.3 Ajax结果提取 4.8 实战案例：小说网站的抓取 4.9 模拟登录与验证 4.9.1 复杂的页面请求