大数据项目管理 从规划到实现

本书提供了一个框架，从整体上介绍与大数据项目开发相关的基本概念，帮助读者评估大数据项目，理解成功的现代数据项目的基本要素。全书共8章，内容包括现代数据项目的主要类型、生命周期、风险管理、接口设计、分布式存储系统、元数据管理、数据处理等。本书旨在让读者厘清思路，顺利地从数据项目的规划阶段走到执行阶段，实现健壮、可维护的架构和解决方案。
本书适合首席信息官、首席运营官、技术主管、系统架构师及相关的开发人员阅读。

前言ix
第1章数据项目的主要类型及考虑因素1
1.1数据项目的主要类型1
1.2数据管道和数据暂存3
1.2.1主要考虑因素和风险管理4
1.2.2数据管道和数据暂存团队的人员组成13
1.3数据的处理和分析14
1.3.1主要考虑因素和风险管理14
1.3.2数据处理和分析团队的人员组成17
1.4应用程序开发17
1.4.1主要考虑因素和风险管理18
1.4.2应用程序开发团队的人员组成22
1.5小结22
第2章评估和选择数据管理解决方案25
2.1开源项目的阶段26
2.1.1孵化阶段27
2.1.2发布阶段27
2.1.3“治愈癌症”阶段27
2.1.4打破承诺阶段28
2.1.5强化阶段29
2.1.6企业阶段30
2.1.7终结阶段30
2.2开源项目的常见生命周期31
2.2.1使产品起死回生32
2.2.2追随者33
2.3评估基准测试34
2.4技术选型的考虑因素35
2.4.1了解构建块36
2.4.2寻求建议37
2.4.3从分析师那里获得见解37
2.4.4研究市场趋势37
2.5小结39
第3章数据项目的风险管理41
3.1风险类型41
3.1.1技术风险41
3.1.2团队风险42
3.1.3需求风险42
3.2风险管理42
3.2.1对架构中的风险进行分类42
3.2.2技术风险45
3.2.3团队的优势45
3.2.4外部团队风险47
3.2.5需求风险47
3.2.6融会贯通47
3.3使用原型和PoC50
3.3.1找到两三种方法50
3.3.2进行PoC，然后丢弃50
3.3.3部署的注意事项50
3.4使用接口51
3.5尽早开始构建52
3.6频繁测试并保留记录52
3.7监控和警报53
3.8沟通风险54
3.8.1合作并获得信任54
3.8.2公开风险54
3.9将风险作为谈判工具55
3.10小结55
第4章接口设计57
4.1人体57
4.1.1人体与数据架构57
4.1.2解耦61
4.1.3解耦的注意事项63
4.1.4专门化64
4.2什么造就了好的接口设计64
4.2.1合约64
4.2.2抽象64
4.2.3版本控制65
4.2.4防御65
4.2.5接口的文档和命名66
4.3非功能性考虑因素67
4.3.1可用性67
4.3.2响应时间68
4.3.3负载容量68
4.3.4使用测试来确定SLA69
4.4通用接口示例69
4.4.1发布–订阅69
4.4.2异步请求–响应71
4.4.3同步请求–响应72
4.5小结73
第5章分布式存储系统75
5.1分布式存储系统的属性75
5.1.1谱系76
5.1.2分区77
5.1.3处理数据变更78
5.1.4读取路径80
5.1.5可用性与一致性84
5.1.6主要用例85
5.2存储系统细分85
5.2.1HDFS86
5.2.2S3和对象存储系统87
5.2.3Apache HBase89
5.2.4Apache Cassandra90
5.2.5Elasticsearch和Apache Solr94
5.2.6新进者：Apache Kudu和CockroachDB95
5.2.7内存存储系统96
5.3小结99
第6章企业元数据101
6.1为什么要关注元数据102
6.1.1数据可见性102
6.1.2数据之间的关系103
6.1.3数据监管104
6.2数据架构中的元数据类型105
6.2.1静态数据106
6.2.2动态数据107
6.2.3数据源的元数据110
6.2.4有关数据处理的元数据111
6.2.5报告和仪表盘112
6.3元数据收集112
6.3.1声明式元数据收集113
6.3.2发现式元数据收集114
6.4元数据管理实践115
6.5小结116
第7章确保数据完整性117
7.1构建数据管道118
7.2验证数据管道123
7.2.1行数123
7.2.2专享计数124
7.2.3全字节比较124
7.2.4校验和比较125
7.3小结126
第8章数据处理127
8.1处理引擎的属性127
8.1.1DAG管理128
8.1.2计算隔离130
8.1.3性能132
8.1.4容错132
8.1.5交互模型135
8.1.6批处理或流处理135
8.2数据处理演变史136
8.3小结138
关于作者139
关于封面139