网络数据采集技术 Java网络爬虫实战

 

本书以Java为开发语言，系统地介绍了网络爬虫的理论知识和基础工具，包括网络爬虫涉及的Java基础知识、HTTP协议基础与网络抓包、网页内容获取、网页内容解析和网络爬虫数据存储等。本书选取典型网站，采用案例讲解的方式介绍网络爬虫中涉及的问题，以增强读者的动手实践能力。同时，本书还介绍了3种Java网络爬虫开源框架，即Crawler4j、WebCollector和WebMagic。本书适用于Java网络爬虫开发的初学者和进阶者；也可作为网络爬虫课程教学的参考书，供高等院校文本挖掘、自然语言处理、大数据商务分析等相关学科的大学生和研究生参考使用；也可供企业网络爬虫开发人员参考使用。

钱洋，合肥工业大学管理科学与工程系博士、CSDN博客专家。作为技术人员参与过多个横向、纵向学术课题，负责数据采集系统的设计与开发工作。在CSDN上撰写了多篇关于数据采集、自然语言处理、编程语言等领域的原创博客。
姜元春，合肥工业大学教授、博士生导师。长期从事电子商务、商务智能、数据采集与挖掘等方面的理论研究与教学工作。先后主持过国家自然科学基金优秀青年科学基金项目、国家自然科学基金重大研究计划培育项目、国家自然科学基金青年科学基金项目、教育部人文社科青年基金项目、阿里巴巴青年学者支持计划、CCF-腾讯犀牛鸟基金项目等课题的研究工作。

第1章网络爬虫概述与原理1
1.1网络爬虫简介1
1.2网络爬虫分类2
1.3网络爬虫流程4
1.4网络爬虫的采集策略5
1.5学习网络爬虫的建议5
1.6本章小结6
第2章网络爬虫涉及的Java基础知识7
2.1开发环境的搭建7
2.1.1JDK的安装及环境变量配置7
2.1.2Eclipse的下载9
2.2基本数据类型10
2.3数组11
2.4条件判断与循环12
2.5集合15
2.5.1List和Set集合15
2.5.2Map集合16
2.5.3Queue集合17
2.6对象与类19
2.7String类21
2.8日期和时间处理23
2.9正则表达式26
2.10Maven工程的创建29
2.11log4j的使用33
2.12本章小结40
第3章HTTP协议基础与网络抓包41
3.1HTTP协议简介41
3.2URL42
3.3报文44
3.4HTTP请求方法46
3.5HTTP状态码46
3.5.1状态码2XX47
3.5.2状态码3XX47
3.5.3状态码4XX48
3.5.4状态码5XX48
3.6HTTP信息头48
3.6.1通用头49
3.6.2请求头52
3.6.3响应头55
3.6.4实体头56
3.7HTTP响应正文57
3.7.1HTML58
3.7.2XML60
3.7.3JSON61
3.8网络抓包64
3.8.1简介64
3.8.2使用情境65
3.8.3浏览器实现网络抓包65
3.8.4其他网络抓包工具推荐70
3.9本章小结70
第4章网页内容获取71
4.1Jsoup的使用71
4.1.1jar包的下载71
4.1.2请求URL72
4.1.3设置头信息75
4.1.4提交请求参数78
4.1.5超时设置80
4.1.6代理服务器的使用81
4.1.7响应转输出流（图片、PDF等的下载）83
4.1.8HTTPS请求认证85
4.1.9大文件内容获取问题89
4.2HttpClient的使用91
4.2.1jar包的下载91
4.2.2请求URL92
4.2.3EntityUtils类97
4.2.4设置头信息98
4.2.5POST提交表单100
4.2.6超时设置103
4.2.7代理服务器的使用105
4.2.8文件下载106
4.2.9HTTPS请求认证108
4.2.10请求重试111
4.2.11多线程执行请求114
4.3URLConnection与HttpURLConnection117
4.3.1实例化117
4.3.2获取网页内容118
4.3.3GET请求118
4.3.4模拟提交表单（POST请求）119
4.3.5设置头信息120
4.3.6连接超时设置121
4.3.7代理服务器的使用122
4.3.8HTTPS请求认证122
4.4本章小结124
第5章网页内容解析125
5.1HTML解析125
5.1.1CSS选择器125
5.1.2Xpath语法127
5.1.3Jsoup解析HTML128
5.1.4HtmlCleaner解析HTML135
5.1.5HTMLParser解析HTML139
5.2XML解析144
5.3JSON解析145
5.3.1JSON校正145
5.3.2org.json解析JSON147
5.3.3Gson解析JSON152
5.3.4Fastjson解析JSON157
5.3.5网络爬虫实战演练159
5.4本章小结165
第6章网络爬虫数据存储166
6.1输入流与输出流166
6.1.1简介166
6.1.2File类166
6.1.3文件字节流169
6.1.4文件字符流172
6.1.5缓冲流176
6.1.6网络爬虫下载图片实战180
6.1.7网络爬虫文本存储实战184
6.2Excel存储188
6.2.1Jxl的使用188
6.2.2POI的使用191
6.2.3爬虫案例198
6.3MySQL数据存储202
6.3.1数据库的基本概念203
6.3.2SQL语句基础203
6.3.3Java操作数据库207
6.3.4爬虫案例217
6.4本章小结219
第7章网络爬虫实战项目220
7.1新闻数据采集220
7.1.1采集的网页220
7.1.2框架介绍222
7.1.3程序编写223
7.2企业信息采集235
7.2.1采集的网页235
7.2.2框架介绍238
7.2.3第一层信息采集239
7.2.4第二层信息采集248
7.3股票信息采集256
7.3.1采集的网页256
7.3.2框架介绍257
7.3.3程序设计258
7.3.4Quartz实现定时调度任务267
7.4本章小结271
第8章Selenium的使用272
8.1Selenium简介272
8.2JavaSelenium环境搭建272
8.3浏览器的操控274
8.4元素定位276
8.4.1id定位276
8.4.2name定位277
8.4.3class定位278
8.4.4tagname定位278
8.4.5linktext定位278
8.4.6Xpath定位279
8.4.7CSS选择器定位279
8.5模拟登录280
8.6动态加载JavaScript数据（操作滚动条）283
8.7隐藏浏览器285
8.8截取验证码287
8.9本章小结291
第9章网络爬虫开源框架292
9.1Crawler4j的使用292
9.1.1Crawler4j简介292
9.1.2jar包的下载292
9.1.3入门案例293
9.1.4相关配置297
9.1.5图片的采集300
9.1.6数据采集入库304
9.2WebCollector的使用312
9.2.1WebCollector简介312
9.2.2jar包的下载313
9.2.3入门案例313
9.2.4相关配置318
9.2.5HTTP请求扩展319
9.2.6翻页数据采集327
9.2.7图片的采集331
9.2.8数据采集入库334
9.3WebMagic的使用347
9.3.1WebMagic简介347
9.3.2jar包的下载347
9.3.3入门案例（翻页数据采集）347
9.3.4相关配置351
9.3.5数据存储方式352
9.3.6数据采集入库355
9.3.7图片的采集365
9.4本章小结368