走近大数据

  

本书首先介绍了大数据的一些基本概念，阐述了大数据发展的历史必然性；然后围绕大数据生态的各个技术和组件进行了基本的介绍；接着介绍了建设大数据系统要考虑的一些关键内容；很后以附录的形式给出了一些企业建设大数据系统的案例。

  

第1章大数据，心中有数1
1.1从一场亲子讲座谈起2
1.2数据非今日变大，为什么今天火了3
1.3大数据带来的改变渐渐发生了6
1.4大数据，首先是数据8
1.5再议数据规模10
1.6大数据概念正解11
1.6.1大数据等于数据大吗11
1.6.2大数据>数据大11
1.6.3大数据内涵——4V属性12
1.6.4大数据原理模拟12
1.7再谈大数据带来的真正改变14
第2章大数据，顺势而为15
2.1大数据发展基础16
2.1.1大数据商用的前提16
2.1.2大数据发展引擎——云计算16
2.1.3大数据发展的ABCT模式23
2.2大数据两个关键变化25
2.3大数据获取与管理25
2.3.1大数据获取25
2.3.2大数据管理26
2.4大数据存储27
2.5大数据分析28
2.6大数据创新应用29
2.7大数据安全31
2.8大数据发展对我们的要求31
第3章准备好了吗？——大数据技术及应用33
3.1大数据的基石——Hadoop技术和应用35
3.1.1源自一位爸爸的爱——Hadoop介绍35
3.1.2海量、非结构化数据的存储宝典——Hadoop应用场景36
3.1.3“打仗亲兄弟，上阵父子兵”（拼的是团队！）——Hadoop
生态系统41
3.1.4如何摆布呢？——Hadoop实施建议45
3.1.5Hadoop的“七寸”——技术关键点53
3.2近期发展势头最猛的技术——Spark的应用57
3.2.1“星星之火，可以燎原”——Spark简介57
3.2.2“速度决定一切”——Spark应用场景58
3.2.3“另立门户”的节奏——Spark生态系统60
3.2.4“火花”的关键点——Spark实施建议63
3.2.5“照单抓药”即可——Spark参数配置69
3.3“中档价格买中档车的配置”——MPP数据库的应用72
3.3.1“不共享”的并行处理架构——MPP数据库简介72
3.3.2接近支持SQL--MPP数据库应用场景72
3.3.3“这样的配置来两打”——MPP数据库实施建议74
3.3.4“对面的女孩看过来”——技术关注点78
3.4“速度决定一切！”——流处理技术的应用80
3.4.1“流水不腐”——流处理技术简介80
3.4.2“最快的奔跑”——流处理技术应用场景81
3.4.3看看谁跑得快？——流处理技术典型产品82
3.4.4短跑运动员的配置清单——流处理技术实施建议83
3.5NoSQL技术的应用87
3.5.1NoSQL技术简介88
3.5.2“大数据量查询”——适用场景88
3.5.3“都有谁？”——典型产品89
3.5.4如何租给更多人？——多租户实现方式92
3.6在内存里跑数据库——内存数据库的应用93
3.6.1传统数据库的“土豪”配置——内存数据库简介93
3.6.2提速的奢华方式——适用场景94
3.6.3哪些是“土豪”的推荐——典型产品95
3.6.4“土豪”要关注什么？——技术关注点96
3.7如何采集更多的数据——数据采集97
3.7.1“没有数据就是无米之炊”——数据采集简介97
3.7.2不同的采集方式——适用场景98
3.7.3各种工具——技术简介98
3.8数据库如何分布？——分布式关系型数据库的应用106
3.8.1“分布+传统数据库”——分布式关系型数据库简介106
3.8.2数据库的延伸——适用场景106
3.8.3支持SQL的分布式数据库——典型产品107
3.8.4技术关注点109
3.9互联网的“杀手级应用”——搜索引擎109
3.9.1搜索引擎简介109
3.9.2搜索什么？——适用场景110
3.9.3产品简介110
3.9.4技术关注点111
3.10资源隔离的利器——容器的应用111
3.10.1独立的集装箱——容器简介112
3.10.2容器与虚拟机的区别113
3.10.3集装箱能用在哪里？——容器应用场景114
3.10.4如何部署？——Docker实施建议115
第4章大数据如何显示分析结果？——数据分析与数据可视化119
4.1收集大数据就是为了分析——数据分析120
4.1.1分析方法有哪些？——数据分析简介120
4.1.2数据分析的过程——适用场景123
4.1.3分析工具有哪些？——典型产品123
4.1.4什么热门？——深度学习典型产品125
4.2大数据也要学习“包装”技术——数据可视化129
4.2.1如何让数据更美观？——数据可视化简介129
4.2.2什么时候数据需要美化？——适用场景130
4.2.3美化数据结果的工具——典型产品130
第5章如何构建开放的大数据平台？——大数据开放平台构建133
5.1为什么要开放？——概述134
5.1.1开放是趋势——大数据开放平台的意义134
5.1.2谁在使用开放平台？——大数据开放平台主要角色135
5.1.3开放哪些内容？——大数据开放平台开放的内容与范围135
5.2看看别人家的平台——大数据开放平台参考架构137
5.3开放哪些内容？——基础能力的开放138
5.3.1自己采集所需——数据采集能力开放138
5.3.2自己存储数据——数据存储能力开放140
5.3.3自己决定处理方式——数据处理能力开放142
5.3.4自己决定展现形式——展现能力开放144
5.4把管理权力也开放出去——数据管理能力的开放145
5.4.1自己设计作业任务——任务调度能力开放145
5.4.2自己编排数据字典——元数据管理能力开放148
5.4.3自己管理自己的数据质量——数据质量管理能力开放149
5.4.4自己承担安全员——数据安全管理能力开放149
5.4.5能提供哪些服务？——服务目录能力开放150
5.5如何管理系统？——平台管理151
5.5.1系统有什么料？——资源管理152
5.5.2如何调度作业？——负载管理152
5.5.3资源如何分配——配额管理153
5.5.4能否计费？——计量管理153
5.6“众人拾柴火焰高”——开发者门户154
5.6.1“你是谁？”——注册认证154
5.6.2“来个厨房”——资源申请155
5.6.3“再来二斤牛肉、一壶好酒”——数据申请156
5.6.4“吃饱喝足”——开发上线157
第6章安全无小事——大数据安全159
6.1安全很重要——大数据安全概述160
6.2非法入侵——数据访问安全161
6.2.1你有权限吗？——用户认证161
6.2.2谁可以访问？——用户管理164
6.2.3我授权给你——用户授权166
6.3数据加密？——数据服务安全169
6.3.1屏蔽隐私内容——数据脱敏169
6.3.2追查泄露者——数字水印170
6.3.3有口令吗？——安全令牌管理171
6.3.4全程防护——服务攻击检测171
6.4数据存在保险箱就安全吗？——数据存储安全173
6.4.1看不懂的天书——加密173
6.4.2不能接触——数据隔离174
第7章建设之后，运维工作更重要——大数据运维管理平台177
7.1如何构建运维环境——大数据运维管理平台简介178
7.2功能点有哪些——大数据运维管理平台功能介绍178
7.2.1用户管理179
7.2.2节点管理179
7.2.3组件管理180
7.2.4监控与告警管理181
7.2.5日志管理181
7.3运维产品有哪些——典型产品182
7.3.1产品列表182
7.3.2Ambari产品介绍183
7.3.3实施建议184
第8章数据质量管理185
8.1数据质量信息存储186
8.2数据质量监控平台186
8.2.1采集管理187
8.2.2规则管理188
8.2.3告警管理193
8.2.4申告处理195
8.2.5知识总结196
8.2.6质量报告197
8.2.7任务调度197
8.3数据质量应用功能198
附录A某公司大数据系统建设案例201
附录BSH公司大数据PaaS平台实施经验215
附录CFJ公司关于大数据高速路况实时监测项目实施经验221
附录D其他公司大数据案例229
附录ED-Docker技术原理241