大数据应用与实训教程(电子与信息类新编21世纪高等职业教育精品教材)

在大数据和人工智能时 代，海量的数据无处不在， 人们可以通过对数据的收集 、分析、统计和可视化，从 海量的数据中挖掘有价值的 信息，发现其中的规律，对 事件进行预测，进而制定有 针对性的决策。 Python语言功能强大、 可读性高，且在数据分析和 数据可视化等方面有许多成 熟的第三方库和活跃的社区 ，因此各行各业越来越多的 人使用Python 进行数据分 析。 本书共分为6个项目，除 了项目一讲解环境搭建外， 其余5个项目均基于具有实 用性和普适性的案例来编写 ，将数据的收集、获取、预 处理、分析与可视化贯穿其 中。

项目一 大数据分析开发环境的搭建 知识链接 一、数据分析的概念 二、数据分析的应用 三、数据分析的流程 四、数据分析前的准备 项目实施 一、Python的下载及安装 二、PyCharm的下载及安装 三、Anaconda的下载及安装 四、Jupyter Notebook的使用 项目拓展 一、插件的安装 二、常用的插件 项目二 Beautiful Soup库和Matplotlib库的使用 知识链接 一、Requests库 二、Beautiful Soup库 三、Pandas库的concat（）函数 四、数据的聚合与分组运算 五、Matplotlib库 六、bar0函数 七、plotO函数 项目实施 一、新建项目 二、安装Requests库 三、使用Requests库获取页面HTML标签 四、使用Beautiful Soup库对页面进行解析 五、将获取的信息保存为csv格式文件 六、在Jupyter中处理数据并进行可视化分析 项目拓展 一、find_all0方法速查表（见表2-2） 二、find0方法速查表（见表2-3） 三、selectO方法速查表（见表2-4） 四、其他方法 五、HTML速查表（见表2-6） 项目三 Scrapy框架与Matplotlib库中bar函数的使用 知识链接 一、Scrapy框架 二、jieba库 三、Matplotlib库中pyplot模块的bar函数 项目实施 一、创建Scrapy项目 二、创建爬虫文件 三、参数配置 四、编写爬虫文件，获取第1页的20条诗词信息 五、分页信息的获取 六、爬取信息的保存 七、在Jupyter中处理文本并进行可视化分析 项目拓展