大数据技术与应用

“大数据技术与应用”是一门大数据知识入门课程，是数据科学与大数据技术、计算机科学与技术、软件工程等专业的重要前沿理论课程，对于信息类专业的学生掌握大数据相关理论知识并与企业工程实践接轨具有十分重要的作用。本书共包含9章，第1章为初识大数据，第2章为大数据采集，第3章为大数据预处理，第4章为大数据存储，第5章为大数据计算，第6章为大数据挖掘，第7章为大数据安全，第8章为大数据可视化，第9章为大数据应用案例。
本书以大数据生命周期为主线，通过理论学习+应用案例，使学生参与到大数据实际处理、分析中来，有利于学生深入理解大数据技术、综合应用大数据技术和面向产业实践大数据技术。本书可作为本科院校相关专业课程的教材，也可供相关技术人员参考。

第1章 初识大数据 1
1.1 大数据的概述 1
1.1.1 大数据时代的背景及定义 1
1.1.2 大数据的特征 3
1.1.3 大数据的数据类型 4
1.2 大数据的发展 6
1.2.1 大数据概念的发展 6
1.2.2 大数据技术的发展 8
1.3 大数据的关键技术 9
1.3.1 大数据采集 9
1.3.2 大数据预处理 10
1.3.3 大数据存储 10
1.3.4 大数据计算 12
1.3.5 大数据挖掘 13
1.3.6 大数据安全 14
1.3.7 大数据可视化 16
1.4 大数据的应用案例 17
1.4.1 大数据在金融领域中的应用 17
1.4.2 大数据在医疗领域中的应用 17
1.4.3 大数据在交通领域中的应用 18
1.4.4 大数据在土地资源领域中的应用 19
1.4.5 大数据的其他应用 19
1.5 大数据面临的挑战 20
1.5.1 数据隐私和安全 20
1.5.2 数据存储和处理 20
1.5.3 数据共享机制 20
1.5.4 价值挖掘问题 21
1.5.5 其他挑战 21
1.6 大数据的发展趋势 22
思考题 24
第2章 大数据采集 25
2.1 大数据采集的基础 25
2.1.1 传统数据采集 25
2.1.2 大数据采集的概述 26
2.2 大数据采集的架构 27
2.2.1 Scribe 28
2.2.2 Chukwa 29
2.2.3 Kafka 30
2.2.4 Flume 35
2.3 互联网数据抓取与处理技术 37
2.3.1 App端数据采集 38
2.3.2 网络爬虫 39
2.3.3 常用的网络爬虫方法 43
2.3.4 文本数据处理 48
思考题 56
第3章 大数据预处理 57
3.1 数据基础的概念 57
3.1.1 数据对象与属性类型 57
3.1.2 数据的统计描述 58
3.1.3 数据相似性和相异性的度量方法 62
3.2 数据预处理的概述 65
3.2.1 数据质量 66
3.2.2 主要任务 66
3.3 数据清洗 67
3.3.1 缺失值处理 67
3.3.2 光滑噪声数据处理 68
3.3.3 检测偏差与纠正偏差 70
3.4 数据集成 70
3.4.1 模式识别和对象匹配 71
3.4.2 冗余问题 71
3.4.3 元组重复 73
3.4.4 数据值冲突的检测与处理 73
3.5 数据规约 74
3.5.1 离散小波变换 74
3.5.2 主成分分析 75
3.5.3 属性子集选择 75
3.5.4 回归和对数线性模型 76
3.5.5 直方图 77
……