大数据技术

本书是《网络工程师教育丛书》的第7册，介绍和讨论大数据的基础知识、技术原理和应用。全书内容分为6章，包括绪论、大数据采集和预处理、大数据存储与管理、大数据分析与计算、大数据可视化和大数据应用。本书既介绍大数据技术基础知识，又将这些知识与具体应用有机结合起来，并借助可视化图表深入剖析大数据技术原理和洞见数据价值的方法。各章均配有练习、本章小结及小测验，以便理解掌握重要知识点。另外，考虑到大数据技术涉及许多新名词和专业性极强的词汇，书末以附录形式给出了相关术语的注释，以方便读者查阅。

刘化君：南京工程学院通信学院教授、院长，电子工业出版社优秀作者。长期从事计算机网络与通信的教学与科研工作。主持完成江苏省高校自然科学基金等项目3项，以及多项省市重点计算机网络项目；发表学术论文60余篇，出版专著和教材30多部；获重量教学成果二等奖1项，山东省教育厅科技进步奖著作二等奖1项。

第一章绪论（1）
概述（1）
第一节大数据的概念（1）
何谓大数据（2）
大数据结构类型（6）
大数据的作用和影响（8）
练习（9）
第二节大数据分析和计算（9）
大数据分析计算的意义（10）
大数据计算的特点（11）
大数据计算系统架构（12）
练习（16）
第三节大数据技术体系（17）
大数据技术栈（17）
大数据计算支撑技术（20）
Hadoop生态系统（28）
练习（30）
第四节Hadoop平台构建（30）
Hadoop集群配置（30）
Hadoop的安装与运行（32）
练习（39）
本章小结（39）
第二章大数据采集和预处理（41）
概述（41）
第一节大数据采集（41）
大数据采集的基本概念（42）
大数据采集的技术和方法（45）
大数据采集工具的设计（48）
练习（50）
第二节互联网数据采集（51）
基于网络爬虫的数据采集（51）
系统日志采集（59）
日志数据采集示例（63）
练习（67）
第三节大数据清洗（68）
数据质量问题（68）
大数据清洗的对象（70）
大数据清洗的基本方法（71）
日志文件数据清洗示例（73）
练习（75）
第四节大数据采集和预处理工具（76）
ApacheFlume（76）
SplunkForwarder（83）
国内常见的大数据处理软件（84）
练习（86）
本章小结（86）
第三章大数据存储与管理（88）
概述（88）
第一节分布式存储系统（89）
集中式存储（89）
分布式存储（90）
练习（95）
第二节Hadoop分布式文件系统（HDFS）（96）
HDFS的相关概念（96）
HDFS的系统架构（100）
HDFS的存储机制（102）
HDFS的数据读写过程（104）
HDFS应用编程（106）
练习（114）
第三节非关系数据库（NoSQL）（115）
NoSQL概述（115）
NoSQL的技术基础（118）
NoSQL的数据存储类型（120）
典型的NoSQL工具（125）
练习（132）
第四节分布式数据库HBase（132）
HBase系统结构（133）
HBase数据模型与存储（138）
HBase数据读写（144）
HBase应用编程（145）
练习（152）
本章小结（153）
第四章大数据分析与计算（156）
概述（156）
第一节大数据分析（156）
何谓大数据分析（157）
大数据分析的类别（158）
大数据分析的基本方法（160）
练习（166）
第二节大数据挖掘（167）
数据关联分析（168）
数据聚类分析（169）
数据分类与预测（177）
练习（181）
第三节大数据处理系统（MapReduce/Spark）（182）
MapReduce（182）
Spark（191）
练习（202）
第四节Spark应用示例（203）
Spark配置及运行（203）
Spark的Scala编程（208）
Spark的主要应用场景（210）
练习（211）
本章小结（211）
第五章大数据可视化（214）
第一节可视化基础知识（214）
数据可视化（215）
大数据可视化（217）
大数据可视化设计（220）
练习（222）
第二节可视化分析研发资源与工具（222）
信息图表工具（223）
时间线工具（225）
地图工具（226）
可视化分析研发资源与编程语言（227）
练习（229）
第三节大数据可视化应用（229）
基于Web的数据可视化（229）
文本数据可视化（234）
社交网络可视化（235）
练习（236）
本章小结（237）
第六章大数据应用（239）
第一节大数据查询（239）
大数据查询分析引擎（239）
基于Spark的大数据实时查询（245）
大数据查询实例及其技术发展（248）
练习（249）
第二节大数据应用与发展（249）
大数据的社会价值（249）
大数据应用场景（252）
大数据应用发展趋势（257）
练习（259）
第三节大数据隐私与安全（259）
大数据应用中的安全（260）
大数据安全技术（261）
大数据安全与隐私保护措施（264）
练习（265）
本章小结（265）
附录A课程测验（267）
附录B术语表（270）
参考文献（278）