大数据应用与实训教程

《大数据应用与实训教程》由于晓荷,辛向丽主编

项目一 大数据分析开发环境的搭建
知识链接
一、数据分析的概念
二、数据分析的应用
三、数据分析的流程
四、数据分析前的准备
项目实施
一、Python 的下载及安装
二、Pycharm 的下载及安装
三、Anaconda 的下载及安装
四、Jupyter Notebook 的使用
项目拓展
一、插件的安装
二、常用的插件
项目二 Beautiful Soup 库和Matplotlib 库的使用
知识链接
一、Requests 库
二、Beautiful Soup 库
三、Pandas 库的concat() 函数
四、数据的聚合与分组运算
五、Matplotlib 库
六、bar() 函数
七、plot() 函数
项目实施
一、新建项目
二、安装Requests 库
三、使用Requests 库获取页面HTML 标签
四、使用Beautiful Soup 库对页面进行解析
五、将获取的信息保存为csv 格式文件
六、在Jupyter 中处理数据并进行可视化分析
项目拓展
一、find_all() 方法速查表（见表2 - 2）
二、find() 方法速查表（见表2 - 3）
三、select() 方法速查表（见表2 - 4）
四、其他方法
五、HTML 速查表（见表2 - 6）
项目三 Scrapy 框架与Matplotlib 库中bar 函数的使用
知识链接
一、Scrapy 框架
二、jieba 库
三、Matplotlib 库中pyplot 模块的bar 函数
项目实施
一、创建Scrapy 项目
二、创建爬虫文件
三、参数配置
四、编写爬虫文件，获取第1 页的20 条诗词信息
五、分页信息的获取
六、爬取信息的保存
七、在Jupyter 中处理文本并进行可视化分析
项目拓展
一、创建Scrapy 项目和爬虫文件
二、配置settings.py 文件
三、编写items.py 文件
四、编写pipelines.py 文件
五、编写爬虫文件
项目四 Selenium 库和Matplotlib 库的使用
知识链接
一、Selenium 库
二、Selenium 库的常用操作
三、Pandas 库的sort_values() 函数
四、Matplotlib 库的pie() 函数
五、使用loc 和iloc 进行索引
项目实施
一、新建项目
二、安装Selenium 库
三、下载Chrome 浏览器和浏览器驱动
四、使用Selenium 库获取第1 页的文本信息
五、获取前3 个页面的页面文本信息
六、将获取的信息保存为csv 格式文件
七、在Jupyter 中处理数据并进行可视化分析
项目五 XPath 和Matplotlib 库中barh 函数的使用
知识链接
一、lxml 库
二、XPath
……