大数据分析理论、方法及其在企业信用评估中的应用研究

本书以大数据分析为研 究对象，以大数据分析的理 论基础为切入点，对大数据 分析过程中所涉及的具体方 法与技术（大数据的采集与 处理、分布式大数据的存储 、大数据计算与处理、大数 据分析、大数据可视化等） 进行了深入的分析和研究， 并在此基础上引入大数据分 析在企业信用评估中的具体 应用，为大数据环境下的企 业改革与创新提供有益的理 论指导和技术借鉴。本书结 构严谨，内容新颖，脉络清 晰，集理论、方法与应用于 一体，充分体现了理论紧密 联系实践的指导思想。希望 本书的出版能为大数据从业 人员和科研人员提供一些帮 助。

冯新扬，1980年3月生，男，计算机软件与理论专业博士，河南财经政法大学教师，爱尔兰卡罗理工学院访问学者，曾获河南省科技进步二等奖、河南省教学技能竞赛一等奖等荣誉，主持中央军委和省部级项目5项，获得工业和信息化部云计算架构高级工程师、阿里巴巴大数据工程师等认证，领导41项软件著作权开发工作，获专利4项。

第1章 大数据分析 1.1 迈进大数据时代 1.1.1 数据无处不在 1.1.2 大数据的内涵 1.1.3 大数据的深度解析 1.1.4 大数据需要考虑的问题 1.2 大数据系统总体架构 1.3 大数据分析的概念 1.4 大数据分析的基本过程 1.5 大数据分析的价值 1.5.1 从时间维度看大数据分析的价值 1.5.2 从行业应用看大数据分析的价值 1.5.3 从企业应用看大数据分析的价值 第2章 大数据的采集与预处理 2.1 大数据的采集 2.1.1 网络数据采集方法 2.1.2 系统日志采集方法 2.1.3 科研数据采集方法 2.1.4 关系型数据库数据采集方法 2.2 大数据的预处理 2.2.1 数据预处理的必要性 2.2.2 数据清理 2.2.3 数据集成和数据变换 2.2.4 数据归约 第3章 分布式大数据的存储 3.1 以分布式文件系统存储大数据 3.1.1 HDFS的体系结构 3.1.2 HDFS工作流程 3.1.3 HDFS存储海量数据 3.2 以分布式数据库存储大数据 3.2.1 HBase 3.2.2 NoSQL 第4章 大数据计算与处理 4.1 分布式计算平台Hadoop 4.1.1 Hadoop的架构 4.1.2 Hadoop的组成模块 4.2 分布式计算框架 4.2.1 MapReduce的特点 4.2.2 MapReduce编程模型 4.2.3 MapReduce的架构和工作流程 4.2.4 MapReduce的接口 4.3 大数据处理技术 4.3.1 大规模并行处理系统MPP 4.3.2 Spark 4.3.3 流实时处理系统Storm 第5章 大数据分析方法 5.1 大数据分析方法概述 5.2 数据挖掘的主要方法 5.2.1 数据挖掘的内容与主要方法 5.2.2 复杂数据类型挖掘