数据湖仓

数据湖仓是一个现代化的开放式架构，拥有当今热门的开源数据技术的广度和灵活性。本书从初学者的角度出发，通过对数据湖仓重要概念的剖析，对数据湖仓的相关知识进行深入浅出的讲解。全书共18章，对数据湖仓的基础知识、数据工程、业务价值、数据集成等方面进行深入探讨，同时展望数据架构的演化趋势，使读者能够领会数据湖仓的精髓，最终轻松、全面地管理数据湖仓项目。 本书适合数据架构师、业务人员和系统开发人员，以及对数据管理、数据分析感兴趣的读者阅读。

比尔·恩门 比尔·恩门被誉为“数据仓库之父”，出版了60本书并被译为多种语言，《计算机世界》将他评为计算机专业历史上具影响力的十大人物之一。 戴夫·拉皮恩 戴夫·拉皮恩是辛辛那提大学林德纳商学院的副教授，有着超过25年的教学经验，还开发和管理了许多不同行业的大规模数据集成系统。 瓦莱丽·巴特尔特 瓦莱丽·巴特尔特在印第安纳大学凯利商学院获得信息系统博士学位和商业硕士学位，并且在电信学院获得了沉浸式媒介环境硕士学位。

第 1章　让数据可信　1 1.1 做一个成熟的终端用户　2 1.2 不断攀升的可信目标　5 1.3 可信数据的要素　7 1.4 小结　8 第 2章 基础数据　9 2.1 构建应用程序　9 2.2 以人工智能医疗为例　10 2.3 基础数据的组成要素　12 2.4 小结　14 第3章 如何避免不良数据　15 3.1 输入错误　16 3.2 键的问题　18 3.3 重复记录　18 3.4 拼写错误　19 3.5 兼容性　19 3.6 编制文档　21 3.7 小结　22 第4章 不同类型的数据　24 4.1 数据量　24 4.2 数据的业务价值　25 4.3 数据的访问概率　27 4.4 数据降级　29 4.5 基于大容量存储器的数据归档机制　30 4.6 小结　30 第5章 数据抽象　31 5.1 结构化数据模型　32 5.2 本体和分类标准　34 5.3 模拟/物联网数据的蒸馏算法　36 5.4 小结　37 第6章 结构化数据　39 6.1 业务交易生成的数据　40 6.2 结构化记录　40 6.3 键　42 6.4 联机事务处理　43 6.5 组织数据　45 6.6 小结　46 第7章 文本数据　48 7.1 文本数据的类型　48 7.2 使用文本数据时的语言障碍　50 7.3 多义词　51 7.4 提取业务的含义　51 7.5 小结　54 第8章 模拟/物联网数据　56 8.1 数据有用性的差异　57 8.2 摄像头　58 8.3 人工审视　59 8.4 日期分隔　60 8.5 数据筛选　61 8.6 阈值方法　61 8.7 时间排序方法　62 8.8 小结　63 第9章 大容量存储器与数据湖仓　65 9.1 大容量存储器的优缺点　66 9.2 访问概率　67 9.3 索引　70 9.4 元数据和大容量存储器　71 9.5 小结　71 第 10章 数据架构与数据工程　73 10.1 两个角色如何通力配合　74 10.2 角色与数据类型　75 10.3 小结　79 第 11章 业务价值　81 11.1 业务价值才是驱动力　81 11.2 一切都离不开钱　82 11.3 基础数据　83 11.4 难以协调　84 11.5 领域　85 11.6 小结　86 第 12章 数据需要的层次　87 12.1 数据获取　89 12.2 数据传输与存储　90 12.3 数据转换　91 12.4 数据标签、整合与汇聚　92 12.5 数据分析与机器学习　93 12.6 小结　95 第 13章 数据湖仓中的数据集成　97 13.1 不同种类数据的集成　98 13.2 自动集成　98 13.3 ETL　99 13.4 文本ETL　101 13.5 数据蒸馏算法　103 13.6 小结　104 第 14章 分析　105 14.1 结构化数据分析　105 14.2 文本数据分析　107 14.3 模拟/物联网数据分析　108 14.4 结构化数据和文本数据的结合　109 14.5 连接3个环境　111 14.6 执行分析　112 14.7 小结　113 第 15章 软数据　114 15.1 电子表格数据　115 15.2 互联网数据　116 15.3 政府数据　117 15.4 小结　117 第 16章 描述性数据　119 16.1 数据模型　121 16.2 元数据　122 16.3 结构化数据转换　123 16.4 结构化数据源　124 16.5 数据选择标准　125 16.6 数据定义语言　125 16.7 数据编码　126 16.8 数据关系　127 16.9 文本数据　128 16.10 本体　129 16.11 分类标准　131 16.12 关联　132 16.13 上下文情境　133 16.14 文本数据源　134 16.15 模拟/物联网数据　135 16.16 算法　136 16.17 阈值　136 16.18 时间排序　137 16.19 模拟/物联网数据源　138 16.20 数据血缘　138 16.21 小结　139 第 17章 数据目录　140 17.1 永久维护　141 17.2 开放　141 17.3 不同数据类型的内部结构　142 17.4 小结　143 第 18章 数据架构的演化　144 18.1 伊始　144 18.2 应用程序　145 18.3 磁带文件　146 18.4 硬盘存储　147 18.5 OLTP　148 18.6 个人计算机　149 18.7 4GL处理技术和数据抽取应用程序　150 18.8 数据仓库　152 18.9 数据集市　153 18.10 互联网和物联网数据　154 18.11 数据湖　155 18.12 数据湖仓　157 18.13 小结　158