企业级数据架构：核心要素、架构模型、数据管理与平台搭建

这是一部从企业架构视角系统讲解企业级数据架构的著作，包含数据架构的原理、方法和实践。 本书拟分为四个部分共17个章节来系统性的阐述数据架构相关内容； 第1部分 架构基础主要包含1个章节 1.数据架构与企业架构 其主要从宏观的角度阐述企业架构与数据架构的关系以及重要性使读者明白数据架构并不是孤立存在的且与企业架构息息相关 第2部分 数据架构基础主要包含5个章节从理论以及工具层面阐述数据架构的构成 2.数据架构构成 介绍数据架构的主要组成以及框架 3.数据存储 数据架构落地中常见的存储选型以及实用场景 4.数据调度与消息传输 数据架构中调度服务以及消息传输的通用技术选型以及可能出现的关键问题以及优化手段 5.Lambda架构与Kappa架构 系统性的阐述主流的两种数据架构以及使用场景 6.辅助类组件 数据架构中帮助测试以及运维人员精准的定位问题的相关辅助组件，例如日志收集、系统监控以及APM等 第3部分 数据架构实践 基于大量的业务实践，总结数据架构实践中核心组组成以及关键方法进行拆解 7.企业数据区域以及流向 以不同的维度去拆解企业的数据，帮助读者构建数据架构的落地层面的意识，知道为什么拆以及如何去拆 8.模型架构详解 以主流的两种建模方法论为切入点，讨论并对比优劣并让读者拓展模型设计中的工具箱。 9.模型设计 以维度建模为例，详细的介绍不同数据层级、不同类型数据的建模方法，具体案例来源于大量的模型实践 10.元数据 了解什么是元数据及其重要性以及如何管理数据 11.数据质量 基于数据质量去设计数据质量监控体系，做好事前防范、事后治理 12.数据标准 构建数据标准框架以及流程，挖掘具体数据标准落地在企业中的难度。 第4部分 数据资产管理 13.企业数据资产 企业数据资产的构成以及搭建路径以及工具等 14.数据治理 结合元数据、数据质量以及数据标准等，系统的阐述数据治理类型项目的落地 15.大数据平台实践 如何一步一步搭建基于Hadoop大数据平台 16.实时数据仓库搭建 如何构建企业级别的实施数据仓库 17.本书总结 总结写书的感悟以及后续的一些想法等

李杨<br />资深数据架构师，在数据相关领域有10年以上工作经验。头部保险资管公司科技平台交易系统团队开发组负责人，负责多个应用以及数据平台的建设、优化以及迁移工作。曾担任某数据公司技术合伙人，负责多个金融机构的数据仓库或数据平台相关的工作。<br />在数据质量管理、数据治理等领域有着非常深厚的积累，熟悉不同行业的数字化转型。此外，他还是一名经验丰富的应用工程师，对大数据、数据库以及主流的技术栈有着非常深入的了解。<br />2022年被集团评为“优秀架构师”，积极参与行业内部的相关课题研究，是《保险问道<br />之保险资管数字化探索》一书的执笔人之一，是中资协《金融科技赋能保险资管风险管控的研究》课题核心组成员之一。

序<br />自序<br />前言<br />第一部分　架构基础<br />第1章　企业架构概述3<br />1.1　企业架构4<br />1.2　Zachman框架4<br />1.2.1　Zachman框架的维度4<br />1.2.2　Zachman框架的特点5<br />1.2.3　Zachman框架的使用6<br />1.3　TOGAF6<br />1.3.1　TOGAF完善架构过程7<br />1.3.2　框架核心：ADM8<br />1.4　业务架构9<br />1.4.1　业务架构的价值9<br />1.4.2　业务架构的关键点10<br />1.5　数据架构11<br />1.5.1　数据架构设计12<br />1.5.2　数据架构核心组成12<br />1.6　总结13<br />第二部分 数据架构基础<br />第2章　数据架构构成18<br />2.1　数据模型18<br />2.2　元数据19<br />2.3　数据质量20<br />2.4　数据标准21<br />2.5　数据治理21<br />2.6　数据资产22<br />2.6.1　数据管理22<br />2.6.2　数据仓库22<br />2.6.3　数据湖23<br />2.6.4　数据资产内涵23<br />2.7　数据生命周期24<br />2.7.1　数据创建25<br />2.7.2　数据使用25<br />2.7.3　数据归档26<br />2.7.4　数据销毁26<br />2.8　数据分布27<br />2.8.1　数据存储27<br />2.8.2　数据访问27<br />2.9　常见数据架构技术选型28<br />2.9.1　Lambda28<br />2.9.2　Kappa29<br />2.10　数据调度30<br />2.11　总结30<br />第3章　数据存储31<br />3.1　数据存储基础32<br />3.1.1　计算机组成基础结构32<br />3.1.2　数据存储核心概念35<br />3.1.3　OLTP与OLAP场景37<br />3.2　集中式数据库38<br />3.2.1　常见关系型数据库38<br />3.2.2　分库分表39<br />3.3　分布式数据库40<br />3.3.1　大规模并行处理技术40<br />3.3.2　分布式事务41<br />3.4　大数据存储43<br />3.4.1　HDFS43<br />3.4.2　Yarn44<br />3.4.3　Hive44<br />3.4.4　HBase45<br />3.4.5　Spark及Spark Streaming46<br />3.5　特定领域存储46<br />3.5.1　ClickHouse46<br />3.5.2　Elasticsearch48<br />3.6　实时计算阶段49<br />3.7　总结49<br />第4章　数据调度与消息传输50<br />4.1　通用技术选型50<br />4.2　Airflow调度平台52<br />4.2.1　Airflow基础概念52<br />4.2.2　Airflow架构54<br />4.2.3　Airflow与其他调度平台对比55<br />4.3　DataX数据同步工具56<br />4.3.1　DataX基础概念56<br />4.3.2　DataX数据同步57<br />4.3.3　DataX优化59<br />4.3.4　DataX与其他数据同步工具对比60<br />4.4　Kafka消息中间件62<br />4.4.1　Kafka基础概念62<br />4.4.2　Kafka架构概述63<br />4.4.3　Kafka高性能原理63<br />4.4.4　Kafka与其他中间件对比67<br />4.5　总结68<br />第5章　Lambda架构与Kappa架构69<br />5.1　架构演进69<br />5.1.1　传统数据仓库架构70<br />5.1.2　传统大数据架构71<br />5.1.3　流式计算架构72<br />5.1.4　Lambda架构73<br />5.1.5　Kappa架构74<br />5.2　Lambda架构详解75<br />5.2.1　架构解析76<br />5.2.2　核心组件78<br />5.2.3　数据流向81<br />5.3　Kappa架构详解82<br />5.3.1　架构解析82<br />5.3.2　核心组件85<br />5.3.3　数据流向87<br />5.4　Lambda与Kappa对比 87<br />5.5　流批一体化89<br />5.6　总结90<br />第6章　辅助类应用体系介绍91<br />6.1　资源管理91<br />6.1.1　开源堡垒机JumpServer92<br />6.1.2　部署与负载均衡92<br />6.1.3　核心概念94<br />6.1.4　最佳实践95<br />6.2　资源及组件监控95<br />6.2.1　开源监控系统Prometheus 96<br />6.2.2　可视化系统Grafana98<br />6.2.3　告警模块AlertManager100<br />6.2.4　小结101<br />6.3　应用监控102<br />6.3.1　应用链路监控Pinpoint102<br />6.3.2　原理与组件介绍103<br />6.3.3　最佳实践104<br />6.3.4　小结106<br />6.4　日志监控107<br />6.4.1　ELK107<br />6.4.2　直连式日志收集架构107<br />6.4.3　高并发日志收集架构108<br />6.5　总结109<br />第三部分 数据架构模型实践<br />第7章　企业数据区与数据流向113<br />7.1　数据区概述113<br />7.2　数据区详解115<br />7.2.1　操作型数据区115<br />7.2.2　集成型数据区116<br />7.2.3　分析型数据区117<br />7.2.4　历史数据区118<br />7.3　企业数据流向119<br />7.3.1　操作型数据区数据流向119<br />7.3.2　集成型数据区数据流向120<br />7.3.3　分析型数据区数据流向121<br />7.3.4　历史数据区数据流向122<br />7.4　企业数据分层123<br />7.5　企业集成型数据区层级124<br />7.5.1　数据缓冲层 125<br />7.5.2　数据贴源层126<br />7.5.3　标准模型层127<br />7.5.4　整合模型层127<br />7.5.5　数据集市层128<br />7.6　互联网公司的集成型数据区分层特点129<br />7.7　总结130<br />第8章　数据模型架构详解131<br />8.1　为什么要建模132<br />8.2　建模策略134<br />8.2.1　数据缓冲层建模策略135<br />8.2.2　数据贴源层建模策略135<br />8.2.3　标准模型层建模策略136<br />8.2.4　整合模型层建模策略136<br />8.2.5　数据集市层建模策略137<br />8.3　建模三步走137<br />8.3.1　第一步：概念模型138<br />8.3.2　第二步：逻辑模型139<br />8.3.3　第三步：物理模型140<br />8.4　建模方法论141<br />8.4.1　范式的概念142<br />8.4.2　范式建模?145<br />8.4.3　维度建模146<br />8.4.4　范式建模与维度建模对比　146<br />8.5　常见模型概述147<br />8.5.1　星型模型147<br />8.5.2　雪花模型149<br />8.5.3　星座模型150<br />8.6　数据层级与数据模型的关系　151<br />8.7　总结152<br />第9章　维度建模解析153<br />9.1　维度建模概述153<br />9.1.1　维度与事实154<br />9.1.2　维度建模目标155<br />9.1.3　维度建模局限155<br />9.2　维度建模总线结构156<br />9.2.1　总线矩阵157<br />9.2.2　一致性维度157<br />9.2.3　一致性事实159<br />9.3　维度详解159<br />9.4　缓慢变化维度162<br />9.4.1　缓慢变化维度的作用163<br />9.4.2　缓慢变化维度的处理方式164<br />9.4.3　小结167<br />9.5　事实表详解167<br />9.6　事务型事实表170<br />9.6.1　事务型事实表概述170<br />9.6.2　事务型事实表处理171<br />9.6.3　事实表处理拓展172<br />9.7　总结172<br />第四部分?数据资产管理<br />第10章　元数据管理178<br />10.1　元数据概述178<br />10.2　元数据的产生179<br />10.3　不同类型元数据详解182<br />10.3.1　技术元数据183<br />10.3.2　业务元数据185<br />10.3.3　管理元数据185<br />10.4　元数据的价值187<br />10.4.1　大数据时代前187<br />10.4.2　大数据时代后188<br />10.5　元数据的应用189<br />10.5.1　血缘分析189<br />10.5.2　影响分析190<br />10.6　元数据的生命周期191<br />10.7　元数据管理体系构建191<br />10.7.1　元数据采集模块192<br />10.7.2　元数据分析模块192<br />10.7.3　元数据管理模块192<br />10.7.4　元数据访问模块192<br />10.8　总结193<br />第11章　数据质量管理194<br />11.1　数据质量概述194<br />11.2　数据质量内涵195<br />11.3　数据质量管理框架196<br />11.3.1　事前防范196<br />11.3.2　事中监控197<br />11.3.3　事后治理198<br />11.4　数据质量核心维度200<br />11.4.1　完备性200<br />11.4.2　唯一性201<br />11.4.3　及时性201<br />11.4.4　有效性201<br />11.4.5　准确性202<br />11.4.6　一致性202<br />11.5　数据质量规则体系203<br />11.5.1　业务规则体系203<br />11.5.2　技术规则体系204<br />11.6　数据质量评估206<br />11.6.1　数据质量评估算法206<br />11.6.2　数据质量基线报告208<br />11.6.3　数据质量趋势报告209<br />11.7　总结 210<br />第12章　数据标准管理211<br />12.1　数据标准概述211<br />12.2　数据标准内涵212<br />12.3　数据标准体系设计框架213<br />12.3.1　数据标准的原则213<br />12.3.2　数据标准的调研214<br />12.3.3　数据标准的确定217<br />12.3.4　数据标准的评估219<br />12.4　数据标准管理流程219<br />12.4.1　数据标准的制定220<br />12.4.2　数据标准的审核与发布221<br />12.4.3　数据标准的执行221<br />12.4.4　数据标准的变更222<br />12.4.5　数据标准的审查222<br />12.5　数据标准的挑战223<br />12.6　数据标准与数据质量的关系224<br />12.7　总结226<br />第13章　数据治理227<br />13.1　为什么需要数据治理227<br />13.1.1　烟囱系统228<br />13.1.2　数字化转型228<br />13.1.3　数据治理的作用229<br />13.2　数据治理内涵229<br />13.2.1　数据治理内容229<br />13.2.2　数据治理范围230<br />13.3　数据治理核心准则232<br />13.3.1　确定范围233<br />13.3.2　融入团队233<br />13.3.3　由点到面234<br />13.3.4　团结业务234<br />13.3.5　主动沟通235<br />13.3.6　定期汇报成果235<br />13.4　数据治理通用流程236<br />13.4.1　准备阶段237<br />13.4.2　设计阶段239<br />13.4.3　运营阶段241<br />13.5　数据治理的挑战242<br />13.6　总结243<br />第14章　数据资产管理与数据资产目录244<br />14.1　数据资产内涵245<br />14.1.1　数据相关概念245<br />14.1.2　数据资产构成247<br />14.2　数据资产管理活动职能253<br />14.3　数据资产目录实践254<br />14.3.1　数据目录与数据资产目录254<br />14.3.2　数据资产目录构建255<br />14.4　总结260<br />第五部分?数据架构实践<br />第15章　离线计算263<br />15.1　离线计算架构概述263<br />15.2　架构设计264<br />15.3　软件部署265<br />15.3.1　JDK部署265<br />15.3.2　Hadoop部署266<br />15.3.3　Hive部署273<br />15.3.4　Sqoop部署279<br />15.4　模型设计281<br />15.4.1　数据存储层模型设计282<br />15.4.2　数据贴源层模型设计284<br />15.4.3　标准模型层模型设计287<br />15.4.4　整合模型层模型设计288<br />15.4.5　数据集市层模型设计289<br />15.5　数据处理291<br />15.5.1　源系统数据同步291<br />15.5.2　数据贴源层数据处理294<br />15.5.3　标准模型层数据处理295<br />15.5.4　整合模型层数据处理296<br />15.5.5　数据集市层数据处理297<br />15.6　离线计算数据应用298<br />15.7　总结299<br />第16章　实时计算300<br />16.1　实时计算架构概述300<br />16.2　架构设计301<br />16.3　软件部署303<br />16.3.1　Flume部署303<br />16.3.2　Kafka部署304<br />16.3.3　Flink部署307<br />16.4　连通性配置310<br />16.4.1　Flume与Kafka311<br />16.4.2　Kafka与Flink314<br />16.5　实时计算层315<br />16.5.1　数据层级设计315<br />16.5.2　实时计算开发316<br />16.5.3　实时数据应用322<br />16.6　总结322<br />第17章　对数字未来的展望324<br />17.1　建设数字中国324<br />17.2　金融行业的数字化转型325<br />17.3　数据架构核心326<br />17.4　数据开发趋势326<br />17.5　DataOps发展327<br />17.6　总结328