Python数据预处理

数据预处理是数据分析、数据挖掘或人工智能中必不可少的环节，它通过一定的方法将存在诸多问题的低质量数据处理变成高质量数据，在一定程度上提高数据分析或数据挖掘等工作的效率。 本书以Jupyter Notebook为主要开发工具，采用理论与实例相结合的形式，全面地介绍数据预处理的相关知识。全书共8章，其中第1章介绍数据预处理的入门知识；第2～6章介绍科学计算库NumPy和数据分析库pandas，以及通过pandas库实现数据获取、数据清理、数据集成、数据变换和数据规约的功能；第7章介绍数据清理工具OpenRefine的安装及使用；第8章结合前期的核心知识进行实战演练。除第1章外，其他章均配置了丰富的示例或案例，读者可以一边学习一边练习，巩固所学的知识，并在实践中提升实际开发能力。 本书附有配套视频、源代码、习题、教学课件等资源。为帮助初学者更好地学习本书中的内容，本书还提供了在线答疑。 本书既可作为高等院校计算机相关专业的专用教材，也可以作为相关技术爱好者的入门用书。

黑马程序员，传智播客旗下高端教育品牌，成立于2006年，它是由中国Java培训先行者张孝祥老师发起，联合全球最大的中文IT社区CSDN、中关村软件园共同创办的一家专业教育机构。办学至今，我们一直坚守着“为千万人少走弯路而著书，为中华软件之崛起而讲课”的办学理念，坚持培养优秀软件应用工程师的宏伟目标，在累计培养的十万余名学员中。

第 1章　数据预处理概述　001 1.1　什么是数据预处理　001 1.2　常见的数据问题　003 1.3　数据预处理的流程　003 1.4　常用的数据预处理库　005 1.5　开发工具与环境　006 1.5.1　安装与使用Jupyter Notebook　006 1.5.2　安装数据预处理库　008 1.6　本章小结　009 1.7　习题　009 第　2章 科学计算库——NumPy　010 2.1　数组对象　010 2.2　创建数组　012 2.3　访问数组元素　014 2.3.1　使用整数索引访问元素　014 2.3.2　使用花式索引或布尔索引访问元素　015 2.3.3　使用切片访问元素　017 2.4　数组运算　018 2.4.1　形状相同的数组间运算　018 2.4.2　形状不同的数组间运算　019 2.4.3　数组与标量的运算　020 2.5　数组操作　021 2.5.1　排序　021 2.5.2　检索数组元素　022 2.5.3　元素唯一化　022 2.6　数组的转置　023 2.7　本章小结　025 2.8　习题　025 第3章　pandas库基础　028 3.1　数据结构　028 3.1.1　Series　028 3.1.2　DataFrame　030 3.2　索引操作　032 3.2.1　索引对象　032 3.2.2　使用单层索引访问数据　033 3.2.3　使用分层索引访问数据　035 3.2.4　重新索引　038 3.3　数据排序　039 3.3.1　按索引排序　040 3.3.2　按值排序　041 3.4　统计计算与统计描述　042 3.4.1　统计计算　042 3.4.2　统计描述　043 3.5　绘制图表　044 3.6　本章小结　046 3.7　习题　046 第4章　数据获取　048 4.1　从CSV和TXT文件读取数据　048 4.2　从Excel文件读取数据　050 4.3　从JSON文件读取数据　052 4.4　从HTML表格读取数据　053 4.5　从数据库读取数据　054 4.6　从Word文件读取数据　056 4.6.1　python-docx库概述　056 4.6.2　python-docx库的基本使用　057 4.7　从PDF文件读取数据　059 4.7.1　pdfplumber库概述　059 4.7.2　pdfplumber库的基本使用　060 4.8　本章小结　061 4.9　习题　062 第5章　数据清理　064 5.1　数据清理概述　064 5.2　缺失值的检测与处理　065 5.2.1　缺失值的检测　065 5.2.2　缺失值的处理　066 5.3　重复值的检测与处理　070 5.3.1　重复值的检测　070 5.3.2　重复值的处理　071 5.4　异常值的检测与处理　072 5.4.1　异常值的检测　072 5.4.2　异常值的处理　076 5.5　案例——成都某地区二手房数据清理　078 【分析目标】　078 【数据获取】　078 【数据清理】　079 5.6　本章小结　083 5.7　习题　083 第6章　数据集成、变换与规约　086 6.1　数据集成　086 6.1.1　数据集成概述　086 6.1.2　合并数据　087 6.2　数据变换　093 6.2.1　数据变换概述　093 6.2.2　轴向旋转　094 6.2.3　分组与聚合　095 6.2.4　哑变量处理　100 6.2.5　面元划分　102 6.3　数据规约　104 6.3.1　数据规约概述　104 6.3.2　重塑分层索引　105 6.3.3　降采样　106 6.4　案例——中国篮球运动员的基本信息分析　108 【分析目标】　108 【数据获取】　108 【数据清理】　109 【实现步骤】　116 6.5　本章小结　119 6.6　习题　119 第7章　数据清理工具—— OpenRefine　122 7.1　OpenRefine介绍　122 7.2　OpenRefine的下载与安装　123 7.3　OpenRefine的基本操作　124 7.3.1　基本配置　125 7.3.2　创建项目　126 7.3.3　操作列　127 7.3.4　撤销与重做　132 7.3.5　导出数据　133 7.4　OpenRefine的进阶操作　135 7.4.1　数据排序　135 7.4.2　数据归类　137 7.4.3　重复检测　138 7.4.4　数据填充　141 7.4.5　文本过滤　142 7.4.6　数据转换　143 7.5　案例——多伦多市建筑许可数据 分析　145 【分析目标】　145 【数据获取】　145 【数据清理】　146 【实现步骤】　152 7.6　本章小结　153 7.7　习题　154 第8章　实战演练——数据分析师岗位分析　156 8.1　知识精讲　156 8.1.1　数据分析的流程　156 8.1.2　使用pyecharts绘制图表　157 8.2　分析目标与思路　160 8.3　数据收集　161 8.4　数据预处理　163 8.5　数据分析与展现　166 8.5.1　分析展现数据分析师岗位的需求趋势　166 8.5.2　分析展现数据分析师岗位的热门城市Top10　167 8.5.3　分析展现不同城市数据分析师岗位的薪资水平　169 8.5.4　分析展现数据分析师岗位的学历要求　171 8.6　本章小结　172