Python网络爬虫实战

本书从Python的安装开始，详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。本书从实战出发，根据不同的需求选取不同的爬虫，有针对性地讲解了几种Python网络爬虫。 本书共8章，涵盖的内容有Python语言的基本语法、Python常用IDE的使用、Python第三方模块的导入使用、Python爬虫常用模块、Scrapy爬虫、Beautiful Soup爬虫、Mechanize模拟浏览器和Selenium模拟浏览器。本书所有源代码已上传网盘供读者下载。 本书内容丰富，实例典型，实用性强。适合Python网络爬虫初学者、数据分析与挖掘技术初学者，以及高校及培训学校相关专业的师生阅读。

第1章Python环境配置
1.1Python简介
1.1.1Python的历史由来
1.1.2Python的现状
1.1.3Python的应用
1.2Python开发环境配置
1.2.1Windows下安装Python
1.2.2Windows下安装配置pip
1.2.3Linux下安装Python
1.2.4Linux下安装配置pip
1.2.5永远的开始：helloworld
1.3本章小结
第2章Python基础
2.1Python变量类型
2.1.1数字
2.1.2字符串
2.1.3列表
2.1.4元组
2.1.5字典
2.2Python语句
2.2.1条件语句——ifelse
2.2.2有限循环——for
2.2.3无限循环——while
2.2.4中断循环——continue、break
2.2.5异常处理——tryexcept
2.2.6导入模块——import
2.3函数和类
2.3.1函数
2.3.2类
2.4Python代码格式
2.4.1Python代码缩进
2.4.2Python命名规则
2.4.3Python代码注释
2.5Python调试
2.5.1Windows下IDLE调试
2.5.2Linux下pdb调试
2.6本章小结
第3章简单的Python脚本
3.1九九乘法表
3.1.1Project分析
3.1.2Project实施
3.2斐波那契数列
3.2.1Project分析
3.2.2Project实施
3.3概率计算
3.3.1Project分析
3.3.2Project实施
3.4读写文件
3.4.1Project分析
3.4.2projiect实施
3.5本章小结
第4章Python爬虫常用模块
4.1Python标准库之urllib2模块
4.1.1urllib2请求返回网页
4.1.2urllib2使用代理访问网页
4.1.3urllib2修改header
4.2Python标准库——logging模块
4.2.1简述logging模块
4.2.2自定义模块myLog
4.3其他有用模块
4.3.1re模块(正则表达式操作)
4.3.2sys模块(系统参数获取)
4.3.3time模块(获取时间信息)
4.4本章小结
第5章Scrapy爬虫框架
5.1安装Scrapy
5.1.1Windows下安装Scrapy环境
5.1.2Linux下安装Scrapy
5.1.3vim编辑器
5.2Scrapy选择器XPath和CSS
5.2.1XPath选择器
5.2.2CSS选择器
5.2.3其他选择器
5.3Scrapy爬虫实战一：今日影视
5.3.1创建Scrapy项目
5.3.2Scrapy文件介绍
5.3.3Scrapy爬虫编写
5.4Scrapy爬虫实战二：天气预报
5.4.1项目准各
5.4.2创建编辑Scrapy爬虫
5.4.3数据存储到json
5.4.4数据存储到MySQI_
5.5Scrapy爬虫实战三：获取代理
5.5.1项目准备
5.5.2创建编辑Scrapy爬虫
5.5.3多个Spider
5.5.4处理Spider数据
5.6Scrapy爬虫实战四：糗事百科
5.6.1目标分析
5.6.2创建编辑Scrapy爬虫
5.6.3Scrapy项目中间件——添加headers
5.6.4Scrapy项目中间件——添加proxy
5.7scrapy爬虫实战五：爬虫攻防
5.7.1创建一般爬虫
5.7.2封锁间隔时间破解
5.7.3封锁Cookies破解
5.7.4封锁user-agent破解
5.7.5封锁IP破解
5.8本章小结
第6章BeautifulSoup爬虫
6.1安装BeautifulSoup环境
6.1.1Windows下安装BeautifulSoup
6.1.2Linux下安装BeautifulSoup
6.1.3最强大的IDE——Eclipse.
6.2BeautifulSoup解析器
6.2.1bs4解析器选择
6.2.2lxml解析器安装
6.2.3使用bs4过滤器
6.3bs4爬虫实战一：获取百度贴吧内容
6.3.1目标分析
6.3.2项目实施
6.3.3代码分析
6.3.4Eclipse调试
6.4bs4爬虫实战二：获取双色球中奖信息
6.4.1目标分析
6.4.2项目实施
6.4.3保存结果到Excel
6.4.代码分析
6.5bs4爬虫实战三：获取起点小说信息
6.5.1目标分析
6.5.2项目实施
6.5.3保存结果到MySQL
6.5.4代码分析
6.6bs4爬虫实战四：获取电影信息
6.6.1目标分析
6.6.2项目实施
6.6.3bs4反爬虫
6.6.4代码分析
6.7bs4爬虫实战五：获取音悦台榜单
6.7.1目标分析
6.7.2项目实施
6.7.3代码分析
6.8本章小结
第7章Mechanize模拟浏览器
7.1安装Mechanize模块
7.1.1Windows下安装Mechanize
7.1.2L,inux下安装Mechanize
7.2Mechanize测试
7.2.1Mechanize百度
7.2.2Mechanize光猫F460
7.3Mechanize实站一：获取Modem信息
7.3.1获取F460数据
7.3.2代码分析
7.4Mechanize实战二：获取音悦台公告
7.4.1登录原理
7.4.2获取Cookie的方法
7.4.3获取Cookie
7.4.4使用Cookie登录获取数据
7.5本章总结
第8章SeIenium模拟浏览器
8.1安装Selenium模块
8.1.1Windows下安装Selenium模块
8.1.2Linux下安装Selenium模块
8.2浏览器选择
8.2.1Webdriver支持列表
8.2.2Windows下安装PhantomJS
8.2.3Linux下安装PhantomJS
8.3Selenium&PhantomJS抓取数据
8.3.1获取百度搜索结果
8.3.2获取搜索结果
8.3.3获取有效数据位置
8.3.4从位置中获取有效数据
8.4Selenium&PhantomJS实战一：获取代理
8.4.1准备环境
8.4.2爬虫代码
8.4.3代码解释
8.5Selenium&PhantomJS实战二：漫画爬虫
8.5.1准备环境
8.5.2爬虫代码
8.5.3代码解释
8.6本章总结