剑指大数据 企业级数据仓库项目实战 电商版

本书按照需求规划、需求实现、可视化的流程进行编排，通过项目开发的主要流程，介绍数据仓库的搭建过程。在整个数据仓库的搭建过程中，本书介绍了主要组件的安装部署、需求实现的具体思路，以及各种问题的解决方案等，并在其中穿插了许多与大数据和数据仓库相关的理论知识，包括数据仓库的概念、电商业务概述、数据仓库理论和数据仓库建模等。
本书共14章，其中，第1～3章是项目的前期准备阶段，主要介绍了数据仓库的概念和搭建需求，并初步搭建了本数据仓库项目所需的基本环境；第4～7章是项目的核心部分，详细介绍了数据仓库的建模理论，并完成了数据从采集到分层搭建的全过程，是本书的重点部分；第8～14章是对数据治理各功能模块的实现，针对数据治理的不同功能需求分模块进行实现。
本书适合具有一定编程基础并对大数据感兴趣的读者阅读。通过学习本书，读者可以快速了解数据仓库，全面掌握数据仓库相关技术。

尚硅谷教育是一家专业的IT教育培训机构，开设了JavaEE、大数据、HTML5前端等多门学科，在互联网上发布的JavaEE、大数据、HTML5前端、区块链、C语言、Python等技术视频教程广受赞誉。

第1章 数据仓库概论
1.1 数据仓库的概念与特点
1.2 数据仓库的演进过程
1.3 数据仓库技术
1.4 数据仓库基本架构
1.5 数据库和数据仓库的区别
1.6 学前导读
1.6.1 学习的基础要求
1.6.2 你将学到什么
1.7 本章总结
第2章 项目需求描述
2.1 前期调研
2.2 项目架构分析
2.2.1 电商数据仓库产品描述
2.2.2 系统功能结构
2.2.3 系统流程图
2.3 项目业务概述
2.3.1 采集模块业务描述
2.3.2 数据仓库需求业务描述
2.3.3 数据可视化业务描述
2.3.4 即席查询业务描述
2.3.5 数据治理业务描述
2.4 系统运行环境
2.4.1 硬件环境
2.4.2 软件环境
2.5 本章总结
第3章 项目部署的环境准备
3.1 Linux环境准备
3.1.1 VMware安装
3.1.2 CentOS安装
3.1.3 远程终端安装
3.2 Linux环境配置
3.2.1 网络配置
3.2.2 网络IP地址配置
3.2.3 主机名配置
3.2.4 防火墙配置
3.2.5 一般用户设置
3.3 Hadoop环境搭建
3.3.1 虚拟机环境准备
3.3.2 JDK安装
3.3.3 Hadoop安装
3.3.4 Hadoop分布式集群部署
3.4 本章总结
第4章 用户行为数据采集模块
4.1 日志生成
4.1.1 数据埋点
4.1.2 用户行为日志内容
4.1.3 用户行为日志格式
4.1.4 数据模拟
4.2 消息队列Kafka
4.2.1 ZooKeeper安装
4.2.2 ZooKeeper集群启动、停止脚本
4.2.3 Kafka安装
4.2.4 Kafka Eagle安装
4.2.5 Kafka集群启动、停止脚本
4.2.6 Kafka topic相关操作
4.3 采集日志的Flume
4.3.1 Flume组件
4.3.2 Flume安装
4.3.3 采集日志的Flume配置
4.3.4 Flume的
4.3.5 采集日志的Flume启动、停止脚本
4.4 消费日志的Flume
4.4.1 消费日志的Flume配置
4.4.2 时间戳
4.4.3 消费日志的Flume启动、停止脚本
4.4.4 数据通道测试
4.5 采集通道启动、停止脚本
4.6 本章总结
第5章 业务数据采集模块
5.1 电商业务概述
5.1.1 电商业务流程
5.1.2 电商常识
5.1.3 电商业务表结构
5.1.4 数据同步策略
5.1.5 数据同步工具选择
5.2 业务数据采集
5.2.1 MySQL安装
5.2.2 业务数据生成
5.2.3 业务数据模型梳理
5.2.4 DataX安装
5.2.5 Maxwell安装
5.2.6 全量同步
5.2.7 增量同步
5.3 本章总结
第6章 数据仓库搭建模块
6.1 数据仓库理论准备
6.1.1 数据建模概述
6.1.2 关系模型与范式理论
6.1.3 维度模型
6.1.4 维度建模理论之事实表
6.1.5 维度建模理论之维度表
6.1.6 雪花模型、星形模型与星座模型
6.2 数据仓库建模实践
6.2.1 名词概念
6.2.2 为什么要分层
6.2.3 数据仓库搭建流程
6.2.4 数据仓库开发规范
6.3 数据仓库搭建环境准备
6.3.1 Hive安装
6.3.2 Hive on Spark配置
6.3.3 YARN容量调度器并发度问题
6.3.4 数据仓库开发环境配置
6.3.5 模拟数据准备
6.3.6 常用函数
6.3.7 复杂数据类型
6.4 数据仓库搭建――ODS层
6.4.1 用户行为数据
6.4.2 ODS层用户行为数据导入脚本
6.4.3 业务数据
6.4.4 ODS层业务数据导入脚本
6.5 数据仓库搭建――DIM层
6.5.1 商品维度表（全量）
6.5.2 优惠券维度表（全量）
6.5.3 活动维度表（全量）


6.5.4 地区维度表（全量）

……