网络爬虫技术与应用(微课版大数据专业教材)

在大数据的时代背景下 ，使用网络爬虫是获取数据 的一种重要手段，它可以减 少我们生活中不必要的工作 量。但是，千万不能乱用， 因为涉及数据安全法，建议 大家了解相关资料，合理规 划爬虫。 本书介绍爬虫相关的常 用工具及类库，基于Web、 App的采集及项目的部署， 不使用框架的普通爬虫脚本 及使用两种爬虫框架的项目 级爬虫。在实际工作中， feapder、scrapy这两个爬 虫框架比较热门，企业使用 得也比较多。掌握了爬虫框 架，会让我们的开发工作事 半功倍。本书主要包含 requests、HTML、lxml、 MySQL、JSON、JavaScript 、Redis、jadx、pycharm、 feappder、scrapy等内容， 具体包含7个爬虫案例：基 于requests+xpath采集网站 文本数据、使用feapder爬 虫框架爬取房屋租售数据、 使用分布式爬虫采集金融数 据、使用批次分布式爬虫采 集天气数据、使用scrapy爬 虫爬取电影数据、App爬虫 的实践、企业项目部署与应 用。 本书入门门槛低，为便 于上手操作，从所需技术和 基础理论出发，再到每个步 骤都经过验证，帮助读者创 建开发环境。本书既可以作 为高等院校大数据及其相关 专业学生的教材，又可以作 为对数据类工作感兴趣、有 一定Python基础的人员的参 考书。

郑淑晖，北京信息职业技术学院人工智能学院学院大数据专业负责人，副教授。承担专业多门核心课程的教学工作。参与2021年北京市职业教育教学成果奖项目“基于‘标准引领+智能测评’的教师职业能力提升模式研究与实践”（一等奖）；主持校级课题“基于粒子群算法改进的数据优化策略及应用研究”（三等奖）。曾获北京市职业院校信息技术类专业《基于工作过程导向的课程》设计与实践竞赛专业组二等奖、校互动教学一等奖、青年教师课堂教学能力竞赛学院二等奖、信息化课程教学大赛二等奖。在国内外公开发行刊物、EI检索及核心刊物发表多篇论文，参与多本教材的编写，参加企业实践锻炼，有丰富的教学和项目开发经验。

项目一 基于requests+xpath采集网站文本数据 任务一 开发环境的准备和搭建 职业能力目标 任务描述与要求 知识储备 一、Python和PyCharm程序编辑器 二、原生类库requests 三、原生类库lxml 四、原生类库pymysql 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 爬虫程序实践 职业能力目标 任务描述与要求 知识储备 一、认识HTML 二、网页代码结构 三、通过浏览器查看网页源代码 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 项目二 使用feapder爬虫框架爬取房屋租售数据 任务一 开发环境的准备和搭建 职业能力目标 任务描述与要求 知识储备 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 爬虫程序实践 职业能力目标 任务描述与要求 知识储备 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 项目三 使用分布式爬虫采集金融数据 任务一 开发环境的准备和搭建 职业能力目标 任务描述与要求 知识储备 一、redis 二、Another Redis Desktop Manager 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 Spider爬虫程序实践 职业能力目标 任务描述与要求 知识储备 一、分布式爬虫Spider 二、Spider进阶 三、Spider的方法 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 项目四 使用批次分布式爬虫采集天气数据 任务一 学习feapder架构设计 职业能力目标 任务描述与要求 知识储备 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 爬虫程序实践 职业能力目标 任务描述与要求 知识储备 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 项目五 使用Scrapy爬虫爬取电影数据 任务一 开发环境的准备和搭建 职业能力目标 任务描述与要求 知识储备 一、Scrapy 二、JavaScript 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 爬虫程序实践 职业能力目标 任务描述与要求 知识储备 一、JSON简介 二、JSON使用场景 三、在Python中使用JSON 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 项目六 App爬虫的实践 任务一 开发环境的准备和搭建 职业能力目标 任务描述与要求 知识储备 一、Charles 二、Jadx 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 爬虫程序实践 职业能力目标 任务描述与要求 知识储备 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 项目七 企业项目部署与应用 任务一 开发环境的准备和搭建 职业能力目标 任务描述与要求 知识储备 一、Linux系统 二、Docker简介 三、FEAPLAT简介 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展 任务二 爬虫管理和部署 职业能力目标 任务描述与要求 知识储备 一、使用说明 二、项目运行 三、示例演示 任务计划与决策 任务实施 任务检查与评价 任务小结 任务拓展