基于R语言的数据清洗技术

数据分析指的是将数据 转化为价值的一个完整过程 ，而分析数据只是其中的一 个环节而已，第一步工作应 该是梳理业务目标。人们在 进行数据分析的时候，业务 目标与分析数据之间还有一 个环节的工作——数据清洗 。当你辛辛苦苦梳理完业务 目标，结果还没有对数据进 行必要的清洗工作就去分析 ，那么分析的结果很有可能 是完全错误的。而本书的目 标就是带领读者去识别数据 中可能存在的问题，并借助 R语言这个工具将问题数据 清洗干净，这样才会使得后 续的分析结果更加真实可信 。

魏胜，黑龙江省海伦市人，2013年获吉林大学管理学博士学位，现就职于哈尔滨商业大学管理学院，主要研究方向是零售管理和消费者行为。主持的项目有中国博士后基金项目、黑龙江省博士后资助经费项目、哈尔滨商业大学学科项目等。参与了吉林省四平市商业网点规划、吉林银行服务提升、昆明移动分公司网点调研等政府和企业的管理咨询项目。在《数理统计与管理》《经济管理》等CSSCl检索的学术期刊上发表论文多篇，参译《动态营销行为》，参编《采购管理》等。科研成果曾获吉林省第五届社会科学学术年会优秀论文一等奖。

1 认识本书的数据集 1.1 引言 1.2 涉及数据清洗的基本函数 1.2.1 进行缺失值判断——is.na函数 1.2.2 进行频次统计——table函数 1.2.3 进行数据定位——which函数 1.2.4 进行数据概览——summary函数 1.2.5 输出选定部分——head函数 1.3 读入数据 1.4 数据的结构与基本信息 1.4.1 该数据集的结构 1.4.2 该数据集的基本信息 1.5 业务目标与数据清洗工作 2 识别与清洗数值型数据中的异常值 2.1 引言 2.2 梳理业务目标 2.3 快速清洗异常数据 2.3.1 快速识别与删除缺失值 2.3.2 快速识别离群值 2.4 清洗离群值 2.4.1 利用经验清洗离群值 2.4.2 利用均值与标准差检测离群值 2.4.3 截去部分离群值 2.4.4 利用四分位差检测离群值 2.5 其他数值数据清洗技术 2.5.1 最大值与最小值 2.5.2 排序 2.5.3 数值变量的分位数 2.5.4 自定义函数：数据截断 2.6 小结 3 利用正则表达式检测字符型数据 3.1 引言 3.2 正则表达式与grep函数 3.2.1 基本语法 3.2.2 grep函数 3.2.3 grep函数检查无效的电视节目信息 3.3 正则表达式与regexpr函数 3.4 小结 4 处理时间与日期类型的数据 4.1 引言 4.2 处理时间型数据 4.2.1 提取时、分、秒数据 4.2.2 识别缺失值 4.2.3 识别异常值 4.2.4 处理异常值 4.2.5 自定义函数判断缺失值 4.3 处理日期型数据 4.3.1 日期的格式 4.3.2 paste函数与非标准格式的日期 4.4 小结