大数据处理技术概论(微课版高等院校计算机教育系列教材)

大数据处理技术是大数 据技术的核心，主要以 Hadoop生态系统为依托， 实现数据收集、数据存储、 数据处理、统计分析、数据 挖掘、模型预测、结果呈现 等完整的应用过程。本书首 先通过一个大数据分析案例 展示大数据工程全貌，理顺 大数据处理技术体系，其次 分析Hadoop生态系统中各 个组件技术与应用的衔接， 最后再以一个完整案例综合 印证相关知识、方法和工具 。 本书面向大学三年级以 上学生群体和研究生阶段学 生，也可作为从事大数据分 析与挖掘、人工智能工程人 员的参考书。它对于大数据 相关研究和应用的掌握具有 科学性和实用性的指导意义 。

王宏亮，辽宁石油化工大学人工智能能与软件学院软件工程系副教授，企业管理博士，长期从事课程与科研、职业培训等领域的研究与教学工作。先后主持辽宁省自然科学基金项目一项，辽宁省教育厅一般科学研究项目一项，辽宁省教育科学规划项目两项，发表在《计算机集成制造系统》等杂志的EI论文多篇，主编出版教材1部，副主编出版译著1部、教材2部，参编多部。

第1章 大数据处理技术概述 1.1 对大数据的认知 1.1.1 从数据分析决策认识大数据——啤酒与尿布案例 1.1.2 大数据的概念与发展 1.2 大数据技术与大数据处理技术 1.2.1 大数据技术架构 1.2.2 大数据处理技术 1.2.3 大数据处理流程 1.2.4 大数据技术生态 1.3 大数据处理技术构成 1.4 大数据分析的4种典型工具 1.5 大数据应用的未来发展趋势 课后练习题 第2章 大数据采集及预处理 2.1 大数据采集 2.1.1 大数据采集的概念 2.1.2 数据的分类 2.1.3 数据的来源 2.1.4 大数据采集方法分类 2.1.5 大数据采集的技术方法 2.2 数据存储——HDFS与CSV 2.2.1 分布式文件系统HDFS 2.2.2 HDFS文件转换 2.2.3 HDFS文件系统读写原理 2.2.4 CSV文件 2.3 大数据预处理 2.4 特征工程 2.4.1 特征工程的定义 2.4.2 特征工程处理流程 2.5 大数据采集及预处理主要工具示例 课后练习题 第3章 大数据分析概论 3.1 大数据分析的概念与方法 3.2 大数据分析流程 3.2.1 数据理解与提出问题 3.2.2 数据统计分析与挖掘 3.2.3 数据可视化 3.3 大数据分析的主要技术 3.3.1 深度学习 3.3.2 知识计算 3.4 大数据分析系统简介 3.4.1 大数据分析系统的构成 3.4.2 大数据分析系统应用 3.5 大数据分析的应用 课后练习题 第4章 大数据可视化 4.1 大数据可视化内容与过程 4.1.1 数据可视化与大数据可视化 4.1.2 大数据可视化过程 4.2 大数据可视化工具 4.2.1 Tableau 4.2.2 ECharts 课后练习题 第5章 Hadoop概论 5.1 Hadoop简介 5.2 Hadoop的组成与架构 5.2.1 Hadoop组件 5.2.2 HDFS文件系统 5.2.3 HDFS文件系统的局限性与高可用模式保障 5.2.4 HDFS文件系统操作实例——shell命令 5.2.5 MapReduce 5.2.6 Hadoop排序 5.2.7 Yarn工作机制 5.2.8 Hadoop文件系统 5.3 Hadoop应用分析 5.3.1 Hadoop应用场景 5.3.2 Hadoop企业级应用 课后练习题 第6章 Common与Hadoop项目源码结构 6.1 Common概述 6.2 Hadoop项目源码结构 6.3 Hadoop运行环境搭建 6.3.1 Hadoop的用户权限与集群操作常用命令 6.3.2 Hadoop运行环境搭建 6.4 Hadoop开源工具 课后练习题 第7章 MapReduce执行框架与项目源码结构 7.1 MapReduce工作流程 7.1.1 MapReduce作业执行流程 7.1.2 MapReduce计算过程 7.2 MapReduce执行框架 7.3 Map和Reduce任务与工作流程 7.4 MapReduce项目源码结构 7.4.1 MapReduce作业 7.4.2 MapReduce项目源码结构 课后练习题 第8章 Hadoop数据库访问 8.1 数据库基础知识 8.1.1 对数据库的认识 8.1.2 数据库集群与分布式数据库 8.2 NoSQL技术 8.2.1 NoSQL简介 8.2.2 NoSQL相关技术基础 8.2.3 NoSQL数据库 8.3 Hadoop数据库访问 8.4 典型的NoSQL工具——HBase 8.4.1 HBase数据库概况 8.4.2 HBase数据库的结构 8.4.3 HBase数据库系统架构与工作机制 8.4.4 HBase数据库与BigTable数据库的区别及HBase数据库访问接口 课后练习题 第9章 Spark概论 9.1 Spark平台简介 9.2 Spark系统架构 9.2.1 Spark数据抽取运算模型 9.2.2 Spark生态系统及其处理架构 9.3 Spark开发示例 9.4 Spark的应用 9.5 Spark在国内外的现状以及未来的展望 课后练习题 第10章 云计算与大数据 10.1 云计算简介 10.2 云计算模型 10.3 云计算与大数据的关系 10.4 云计算核心技术 10.4.1 虚拟化技术 10.4.2 资源池化技术 10.5 云计算与大数据相关技术 课后练习题 第11章 一个离线大数据分析/挖掘案例 11.1 案例综述 11.1.1 案例概况 11.1.2 案例采用的大数据处理流程 11.1.3 案例采用的核心技术与工具 11.2 案例需求分析 11.2.1 案例背景 11.2.2 功能性需求分析 11.2.3 非功能性需求分析 11.2.4 开发环境分析 11.3 案例系统设计 11.3.1 系统功能结构设计 11.3.2 数据库结构设计 11.3.3 系统动态建模 11.4 案例系统实现 11.4.1 数据处理 11.4.2 软件系统实现 参考文献