数据采集技术

本书可作为应用型本科高校的“数据科学与大数据技术”“大数据技术与应用”专业的教学用书，提供教学课件PPT、教学大纲、源代码、习题参考答案等配套资源。

本书介绍基于Python语言的网络数据采集技术的相关知识，并为采集网络中的各种数据类型提供全面指导。第1章重点介绍Scrapy框架及配置方法；第2～6章重点介绍网络数据采集的基本原理，包括如何利用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何通过自动化的手段与网站进行交互；第7、8章介绍登录表单与验证码的数据采集和自动化处理，以及并行多线程网络数据的采集方法。本书还提供了多个实验，以帮助读者巩固所学内容。本书适合作为普通高等院校计算机程序设计、大数据课程的教材，也可作为从事Web数据采集的软件开发人员和研究人员的参考书。

廖大强，男，硕士，高级实验师，广东南华工商职业学院，云计算技术与应用专业带头人。一直从事信息技术类专业课教学，讲授课程包括计算机网络、信息安全等

第1章 绪论
1.1 数据采集概述
1.1.1 什么是数据采集
1.1.2 数据采集的典型应用场景
1.1.3 数据采集技术框架
1.1.4 数据采集面临的挑战
1.2 网络爬虫概述
1.2.1 什么是网络爬虫
1.2.2 网络爬虫的应用
1.2.3 网络爬虫的结构
1.2.4 网络爬虫的组成
1.2.5 网络爬虫的类型
1.2.6 实现网络爬虫的技术
1.3 Scrapy爬虫
1.3.1 Scrapy框架
1.3.2 Scrapy的常用组件
1.3.3 Scrapy工作流
1.3.4 其他Python框架
1.3.5 Scrapy的安装与配置
1.3.6 Windows 7下的安装配置
1.3.7 Linux（Cent OS）下的安装配置
本章小结
习题
第2章 采集网页数据
2.1 采集网页分析
2.1.1 HTTP概述
2.1.2 HTTP消息
2.2 用Python实现HTTP请求
2.2.1 urllib3/urllib的实现
2.2.2 httplib/urllib的实现
2.2.3 第三方库Requests方式
2.3 静态网页采集
2.3.1 寻找数据特征
2.3.2 获取响应内容
2.3.3 定制Requests
2.3.4 代码解析
2.4 动态网页采集
2.4.1 找到JavaScript请求的数据接口
2.4.2 请求和解析数据接口数据
2.5 实验1：HTML网页采集
2.5.1 新建项目
2.5.2 编写代码
2.5.3 运行程序
本章小结
习题
第3章 解析采集到的网页
3.1 使用正则表达式解析
3.1.1 基本语法与使用
3.1.2 Python与正则表达式
3.2 使用Beautiful Soup解析
3.2.1 Python网页解析器
3.2.2 Beautiful Soup第三方库
3.3 使用lxml解析
3.3.1 安装lxml
3.3.2 XPath语言
3.3.3 使用lxml
3.4 解析方法的优缺点对比
3.5 实验2：使用正则表达式解析采集的网页
3.5.1 目标网站分析
3.5.2 编写代码
3.5.3 运行结果
3.6 实验3：使用Beautiful Soup解析采集的网页
3.6.1 目标网站分析
3.6.2 编写代码
3.6.3 运行结果
本章小结
习题
第4章 存储采集到的数据
4.1 HTML正文抽取
4.1.1 存储为JSON格式
4.1.2 存储为CSV格式
4.2 MySQL数据库
4.2.1 安装MySQL
4.2.2 与Python整合
4.2.3 在网络数据采集中使用MySQL
4.3 更适合网络数据采集的MongoDB
4.3.1 安装MongoDB
4.3.2 MongoDB基础
4.3.3 Python操作MongoDB
4.4 实验4：使用MongoDB存储网络采集的数据
4.4.1 网站分析
4.4.2 获取首页数据
4.4.3 解析数据
4.4.4 存储到MongoDB
4.5 实验5：采集数据并存储到MySQL
4.5.1 准备工作
4.5.2 编写代码
4.5.3 运行结果
本章小结
习题
第5章 基础网络数据采集
5.1 基础网络数据采集的架构及运行流程
5.2 URL管理器
5.2.1 URL管理器的主要功能
5.2.2 URL管理器的实现方式
5.3 HTML下载器
5.3.1 下载方法
5.3.2 注意事项
5.4 HTML解析器
5.5 数据存储器
5.6 数据调度器
5.7 实验6：Scrapy基础网络数据采集
5.7.1 创建采集模块
5.7.2 启动程序
5.7.3 控制运行状态
本章小结
习题
第6章 分布式网络数据采集
6.1 分布式运行结构
6.1.1 分布式网络数据采集分析
6.1.2 简单分布式架构
6.1.3 工作机制
6.2 控制节点
6.2.1 URL管理器
6.2.2 数据存储器
6.2.3 控制调度器
6.3 采集节点
6.3.1 HTML下载器
6.3.2 HTML解析器
6.3.3 网络数据采集调度器
6.4 反爬技术
6.4.1 反爬问题
6.4.2 反爬机制
6.4.3 浏览器伪装技术
6.5 实验7：Scrapy分布式网络数据采集
6.5.1 创建起点数据采集项目
6.5.2 定义Item
6.5.3 编写网络数据采集模块
6.5.4 Pipeline
6.5.5 应对反爬机制
6.5.6 去重优化
本章小结
习题
第7章 登录表单与验证码的数据采集
7.1 网页登录表单
7.1.1 登录表单处理
7.1.2 加密数据分析
7.1.3 Cookie的使用
7.2 验证码的处理
7.2.1 什么是验证码
7.2.2 人工处理验证码
7.2.3 OCR处理验证码
7.3 实验8：Scrapy模拟采集豆瓣网数据
7.3.1 分析豆瓣登录
7.3.2 编写代码
7.3.3 实验调试与运行
7.3.4 问题处理
本章小结
习题
第8章 并行多线程网络数据采集
8.1 多线程网络数据采集
8.1.1 1000个网站网页
8.1.2 串行采集
8.1.3 多线程网络数据采集的工作原理
8.2 多进程网络数据采集
8.2.1 线程和进程如何工作
8.2.2 实现多进程采集
8.3 实验9：Scrapy天气数据采集
8.3.1 创建项目
8.3.2 定义Item
……