数据科学技术与应用(普通高等教育公共通识课教材)

数据分析是指用适当的数学方法对收集来的大量数据进行分析，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究及概括总结的过程。数据分析的目的在于把隐藏在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来。 数据科学是高等学校非计算机专业本科学生必修的一门公共基础课程，其目标是拓宽学生知识面，提高学生数据分析和应用能力，培养学生创新能力，从而实现培养学生在各专业领域中应用数据分析和可视化解决问题的基本能力的目的。本书综合分析了理、工、文、经、管、医、护多种专业对数据分析与处理的教学要求，本着知识够用、精讲多练和项目式学习的理念与思路，将全书分为6章：数据科学基础、数据处理工具-Python、数据预处理、数据分析、数据可视化设计、数据科学应用案例。从数据科学基础知识入手，利用Python数据处理工具，依据大数据处理的三大流程分别介绍数据预处理要求、数据分析的主要方法和数据可视化方式，最后以网络爬虫、文本数据、图像数据和语言数据四类真实案例来巩固和提升自己的数据处理和分析能力，提高解决实际问题的能力。

陈梅，副教授，现任山东协和学院计算机学院软件工程教研室主任，从事软件工程、人工智能、软件技术等专业教学及专业建设，还从事大学计算机、信息技术数据科学基础公共课教学工作。公开发表论文40余篇，EI收录1篇、CPCI-S收录1篇，出版大学计算机及计算机基础教材2部。主持省级教改1项、校级教改2项；第二位参加省级教改1项、校级教改8项。主讲省级一流课程1门、省级课程思政示范课1门；主持校级一流课程1门、课程思政示范课1门。主持教育部协同育人项目2项、厅局级以上科研项目12项；授理发明专利1项、软件著作权4项。教学类获奖6项、科研类获奖9项。指导学生获得省级以上奖项30余项，指导并立项大学生创新创业项目9项；指导山东省大学生互联网+创新创业大赛金奖2项、银奖4项、铜奖3项。

第1章 数据科学基础 1.1 数据科学概述 1.1.1 数据科学的概念 1.1.2 数据科学的知识结构 1.1.3 数据分析的工作流程 1.1.4 数据科学中的大数据 1.2 Python 数据分析工具 1.2.1 集成环境Anaconda 1.2.2 Jupyter Notebook 1.2.3 Spyder 1.2.4 PyCharm 1.3 创建第一个Python程序 第2章 数据处理工具 2.1 Python程序基本语法 2.2 基本数据类型 2.2.1 整数类型 2.2.2 浮点类型 2.2.3 复数类型 2.3 组合数据类型 2.3.1 字符串类型 2.3.2 列表类型 2.3.3 元组类型 2.3.4 字典类型 2.4 程序控制结构 2.4.1 分支结构 2.4.2 循环结构 2.5 函数 2.5.1 函数的基本使用 2.5.2 Python内置函数 2.6 Python库 2.6.1 库的介绍 2.6.2 库的使用 第3章 数据预处理 3.1 数据清洗 3.1.1 缺失数据处理 3.1.2 去除重复数据 3.1.3 噪声数据处理 3.1.4 离群点（异常值）处理 3.2 数据集成 3.2.1 实体识别问题 3.2.2 属性冗余问题 3.2.3 元祖重复问题 3.2.4 属性值冲突问题 3.3 数据变换 3.3.1 数据类型转换 3.3.2 数据离散化 3.3.3 数据规范化 3.4 数据归约 3.4.1 维度归约 3.4.2 特征归约 3.4.3 数值归约 第4章 数据分析 4.1 相似度和相异度的度量 4.2 分类分析 4.2.1 分类分析基本概念 4.2.2 决策树分类方法 4.2.3 朴素贝叶斯分类方法 4.2.4 支持向量机分类方法 4.3 关联分析 4.3.1 关联分析基本概念 4.3.2 Apriori算法 4.3.3 FP-Tree算法 4.4 聚类分析 4.4.1 聚类分析基本概念 4.4.2 划分聚类方法 4.4.3 层次聚类方法 4.4.4 基于密度的聚类方法 4.5 回归分析 4.5.1 回归分析基本概念 4.5.2 线性回归 4.5.3 逻辑回归 4.5.4 多项式回归 第5章 数据可视化设计 5.1 数据可视化概述 5.1.1 数据可视化 5.1.2 数据可视化的作用及分类 5.1.3 数据可视化历史及未来 5.2 数据可视化基础 5.2.1 数据可视化的基本框架 5.2.2 数据可视化的基本原则 5.2.3 数据可视化基本图表 5.3 Python数据可视化 5.3.1 matplotlib库绘图 5.3.2 seaborm库增强绘图效果 5.3.3 plotnine 库弥补可视化不足 第6章 数据科学应用案例 6.1 网络爬虫 6.1.1 网络爬虫简介 6.1.2 网络爬虫工作流程 6.1.3 案例——获取国内外新冠肺炎实时数据 6.2 文本数据处理 6.2.1 文本分析 6.2.2 文本分析流程 6.2.3 案例——生成词云图 6.3 图像数据处理 6.3.1 图像处理概述 6.3.2 图像处理流程 6.3.3 案例——实现图片的手绘效果 6.4 语言数据处理 6.4.1 语音识别 6.4.2 语音识别的过程 6.4.3 案例——语音转文本 参考文献