Python网络爬虫实战(第2版)

   本书从Python 3.6.4的安装开始，详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。本书从实战出发，根据不同的需求选取不同的爬虫，有针对性地讲解了几种Python网络爬虫。

本书共10章，涵盖的内容有Python3.6语言的基本语法、Python常用IDE的使用、Python第三方模块的导入使用、Python爬虫常用模块、Scrapy爬虫、Beautiful Soup爬虫、Mechanize模拟浏览器和Selenium模拟浏览器、Pyspider爬虫框架、爬虫与反爬虫。本书所有源代码已上传网盘供读者下载。

本书内容丰富，实例典型，实用性强。适合Python网络爬虫初学者、Python数据分析与挖掘技术初学者，以及高等院校和培训学校相关专业的师生阅读。

   胡松涛，不错工程师，参与多个Linux开源项目，github知名代码分享者，活跃于靠前有名的多个开源论坛。

   第1章Python环境配置1

1.1Python简介1

1.1.1Python的历史由来1

1.1.2Python的现状2

1.1.3Python的应用2

1.2Python3.6.4开发环境配置4

1.2.1Windows下安装Python4

1.2.2Windows下安装配置pip9

1.2.3Linux下安装Python10

1.2.4Linux下安装配置pip13

1.2.5永远的helloworld16

1.3本章小结21

第2章Python基础22

2.1Python变量类型22

2.1.1数字22

2.1.2字符串25

2.1.3列表29

2.1.4元组34

2.1.5字典37

2.2Python语句41

2.2.1条件语句——ifelse41

2.2.2有限循环——for42

2.2.3无限循环——while44

2.2.4中断循环——continue、break46

2.2.5异常处理——tryexcept48

2.2.6导入模块——import52

2.3函数和类56

2.3.1函数56

2.3.2类62

2.4Python内置函数68

2.4.1常用内置函数68

2.4.2高级内置函数69

2.5Python代码格式74

2.5.1Python代码缩进74

2.5.2Python命名规则75

2.5.3Python代码注释76

2.6Python调试79

2.6.1Windows下IDLE调试79

2.6.2Linux下pdb调试82

2.7本章小结87

第3章简单的Python脚本88

3.1九九乘法表88

3.1.1Project分析88

3.1.2Project实施88

3.2斐波那契数列90

3.2.1Project分析90

3.2.2Project实施90

3.3概率计算91

3.3.1Project分析91

3.3.2Project实施92

3.4读写文件93

3.4.1Project分析93

3.4.2Project实施94

3.5类的继承与重载96

3.5.1Project1分析96

3.5.2Project1实施98

3.5.3Project2分析100

3.5.4Project2实施101

3.6多线程107

3.6.1Project1分析107

3.6.2Project1实施109

3.6.3Project2分析112

3.6.4Project2实施115

3.7本章小结117

第4章Python爬虫常用模块118

4.1网络爬虫技术核心118

4.1.1网络爬虫实现原理118

4.1.2爬行策略119

4.1.3身份识别119

4.2Python3标准库之urllib.request模块120

4.2.1urllib.request请求返回网页120

4.2.2urllib.request使用代理访问网页122

4.2.3urllib.request修改header125

4.3Python3标准库之logging模块129

4.3.1简述logging模块129

4.3.2自定义模块myLog133

4.4re模块（正则表达式）135

4.4.1re模块（正则表达式操作）136

4.4.2re模块实战137

4.5其他有用模块139

4.5.1sys模块（系统参数获取）139

4.5.2time模块（获取时间信息）141

4.6本章小结144

第5章Scrapy爬虫框架145

5.1安装Scrapy145

5.1.1Windows下安装Scrapy环境145

5.1.2Linux下安装Scrapy146

5.1.3vim编辑器147

5.2Scrapy选择器XPath和CSS148

5.2.1XPath选择器148

5.2.2CSS选择器151

5.2.3其他选择器152

5.3Scrapy爬虫实战一：今日影视153

5.3.1创建Scrapy项目153

5.3.2Scrapy文件介绍155

5.3.3Scrapy爬虫编写157

5.4Scrapy爬虫实战二：天气预报164

5.4.1项目准备165

5.4.2创建编辑Scrapy爬虫166

5.4.3数据存储到json173

5.4.4数据存储到MySQL175

5.5Scrapy爬虫实战三：获取代理182

5.5.1项目准备182

5.5.2创建编辑Scrapy爬虫183

5.5.3多个Spider188

5.5.4处理Spider数据192

5.6Scrapy爬虫实战四：糗事百科194

5.6.1目标分析195

5.6.2创建编辑Scrapy爬虫195

5.6.3Scrapy项目中间件——添加headers196

5.6.4Scrapy项目中间件——添加proxy200

5.7Scrapy爬虫实战五：爬虫攻防202

5.7.1创建一般爬虫202

5.7.2封锁间隔时间破解206

5.7.3封锁Cookies破解206

5.7.4封锁User-Agent破解207

5.7.5封锁IP破解212

5.8本章小结215

第6章BeautifulSoup爬虫216

6.1安装BeautifulSoup环境216

6.1.1Windows下安装BeautifulSoup216

6.1.2Linux下安装BeautifulSoup217

6.1.3最强大的IDE——Eclipse218

6.2BeautifulSoup解析器227

6.2.1bs4解析器选择227

6.2.2lxml解析器安装227

6.2.3使用bs4过滤器229

6.3bs4爬虫实战一：获取百度贴吧内容234

6.3.1目标分析234

6.3.2项目实施236

6.3.3代码分析243

6.3.4Eclipse调试244

6.4bs4爬虫实战二：获取双色球中奖信息245

6.4.1目标分析246

6.4.2项目实施248

6.4.3保存结果到Excel251

6.4.4代码分析256

6.5bs4爬虫实战三：获取起点小说信息257

6.5.1目标分析257

6.5.2项目实施259

6.5.3保存结果到MySQL261

6.5.4代码分析265

6.6bs4爬虫实战四：获取电影信息266

6.6.1目标分析266

6.6.2项目实施267

6.6.3bs4反爬虫270

6.6.4代码分析273

6.7bs4爬虫实战五：获取音悦台榜单273

6.7.1目标分析273

6.7.2项目实施274

6.7.3代码分析279

6.8本章小结280

第7章Mechanize模拟浏览器281

7.1安装Mechanize模块281

7.1.1Windows下安装Mechanize281

7.1.2Linux下安装Mechanize282

7.2Mechanize测试283

7.2.1Mechanize百度283

7.2.2Mechanize光猫F460286

7.3Mechanize实站一：获取Modem信息290

7.3.1获取F460数据290

7.3.2代码分析293

7.4Mechanize实战二：获取音悦台公告293

7.4.1登录原理293

7.4.2获取Cookie的方法294

7.4.3获取Cookie298

7.4.4使用Cookie登录获取数据302

7.5本章小结305

第8章Selenium模拟浏览器306

8.1安装Selenium模块306

8.1.1Windows下安装Selenium模块306

8.1.2Linux下安装Selenium模块307

8.2浏览器选择307

8.2.1Webdriver支持列表307

8.2.2Windows下安装PhantomJS308

8.2.3Linux下安装PhantomJS310

8.3Selenium&PhantomJS抓取数据312

8.3.1获取百度搜索结果312

8.3.2获取搜索结果314

8.3.3获取有效数据位置317

8.3.4从位置中获取有效数据319

8.4Selenium&PhantomJS实战一：获取代理319

8.4.1准备环境320

8.4.2爬虫代码321

8.4.3代码解释324

8.5Selenium&PhantomJS实战二：漫画爬虫324

8.5.1准备环境325

8.5.2爬虫代码326

8.5.3代码解释329

8.6本章小结329

第9章Pyspider爬虫框架330

9.1安装Pyspider330

9.1.1Windows下安装Pyspider330

9.1.2Linux下安装Pyspider331

9.1.3选择器pyquery测试333

9.2Pyspider实战一：Youku影视排行335

9.2.1创建项目336

9.2.2爬虫编写338

9.3Pyspider实战二：电影下载346

9.3.1项目分析346

9.3.2爬虫编写349

9.3.3爬虫运行、调试355

9.3.4删除项目360

9.4Pyspider实战三：音悦台MusicTop363

9.4.1项目分析363

9.4.2爬虫编写364

9.5本章小结369

第10章爬虫与反爬虫370

10.1防止爬虫IP被禁370

10.1.1反爬虫在行动370

10.1.2爬虫的应对373

10.2在爬虫中使用Cookies377

10.2.1通过Cookies反爬虫377

10.2.2带Cookies的爬虫378

10.2.3动态加载反爬虫381

10.2.4使用浏览器获取数据381

10.3本章小结381