Python网络爬虫：从入门到精通(附微课)

本书主要介绍如何使用 Python语言进行网络爬虫程 序的开发，从Python语言的 基本特性入手，详细介绍 Python网络爬虫开发的多个 方面，涉及HTTP、HTML、 正则表达式、JavaScript、 自然语言处理、数据处理与 科学计算等不同领域的内容 。全书共12章，包括基础篇 、进阶篇、提高篇和实战篇 4个部分。基础篇包括第1、 2、3章，分别为Python基础 及网络爬虫、静态网页抓取 、数据存储。进阶篇包括第 4、5、6章，分别为 JavaScript与动态内容、模 拟登录与验证码、爬虫数据 的分析与处理。提高篇包括 第7、8、9章，分别为爬虫 的灵活性和多样性、 Selenium模拟浏览器与网站 测试、爬虫框架Scrapy与反 爬虫。实战篇提供了3个实 战项目供读者学习参考。本 书内容覆盖网络数据抓取与 爬虫编程中的主要知识和前 沿技术。同时，本书在重视 理论基础的前提下，从实用 性和丰富度出发，结合实例 演示爬虫程序编写的核心流 程，将理论与实践结合，力 求提高读者的网络爬虫实操 技能。 本书可作为高等院校数 据科学、统计学、计算机科 学、软件工程等相关专业课 程的教材，也可作为Python 语言初学者、网络爬虫技术 爱好者的参考书。

基础篇 第1章 Python基础及网络爬虫 1.1 了解Python语言 1.1.1 Python是什么 1.1.2 Python的应用现状 1.2 配置安装Python开发环境 1.2.1 在Windows上安装 1.2.2 在Ubuntu和macOS上安装 1.2.3 IDE的使用：以PyCharm为例 1.2.4 Jupyter Notebook简介 1.3 Python基础知识 1.3.1 “Hello, World!”与数据类型 1.3.2 逻辑语句 1.3.3 Python中的函数与类 1.3.4 更深入了解Python 1.4 互联网、HTTP与HTML 1.4.1 互联网与HTTP 1.4.2 HTML 1.5 Hello Spider 1.5.1 编写第一个爬虫程序 1.5.2 对爬虫的思考 1.6 分析网站 1.6.1 robots.txt与Sitemap简介 1.6.2 网站技术分析 1.6.3 网站所有者信息分析 1.6.4 使用开发者工具检查目标网页 章节实训：Python环境的配置与爬虫的运行 思考与练习 第2章 静态网页抓取 2.1 从抓取开始 2.2 正则表达式 2.2.1 什么是正则表达式 2.2.2 正则表达式的简单使用 2.3 BeautifulSoup爬虫 2.3.1 安装BeautifulSoup 2.3.2 BeautifulSoup的基本用法 2.4 XPath与lxml 2.4.1 XPath 2.4.2 lxml与XPath的使用 2.5 遍历页面 2.5.1 抓取下一个页面 2.5.2 完成爬虫 2.6 使用API 2.6.1 API简介 2.6.2 API使用示例 章节实训：哔哩哔哩直播间信息抓取练习 思考与练习 …… 进阶篇 提高篇 实战篇 参考文献