数据分析实用技术 阿里云大数据分析师ACP认证培训教程

本书关注大数据分析师所需掌握的最重要的基础能力。首先，本书阐述了大数据分析师的职业特点。其次，根据数据分析经常涉及的技术要求，按顺序介绍了什么是数据库，如何使用数据库，大数据环境下的分布式数据库Hadoop、阿里云MaxCompute，以及相对应的数据库查询语言SQL、MapReduce、Hive、Pig等基本的编程技术。为了提高数据分析工作的质量与效率，本书还详细介绍了数据项目质量控制的理论和实践，其中涉及了数据预处理、数据脱敏和脏数据处理的技能知识，同时介绍了在数据项目中SQL编程的优秀实践方法。作为一本介绍数据分析的入门书籍，本书详细介绍了数据分析中常见的方法（如EDA），包括指标计算的一些常见形式。在企业环境中，数据分析常常以项目的形式出现，本书也向读者介绍了数据分析项目是如何承接、分解和实施的。最后，本书还向读者介绍了常用的数据挖掘技术，如决策树、聚类分析和关联分析，让读者对算法在数据分析中的应用有直观的了解。本书可作为阿里云大数据分析师ACP认证培训的教材，也可作为高校大数据相关专业的学生教材，还可供希望从事大数据分析工作的读者阅读参考。

第1章 大数据分析领域职业介绍
1.1 职业路径
1.1.1 大数据职业生态
1.1.2 大数据工程师职业方向
1.1.3 大数据分析师职业方向
1.1.4 大数据工作入门
1.2 技能要求
1.2.1 基本职业素养
1.2.2 从数据中挖掘金矿
1.2.3 大数据工程师的技能要求
1.2.4 大数据分析师的技能要求
1.3 工作情况
1.3.1 典型的工作状态
1.3.2 大数据职业的现状
1.4 职业前景
1.4.1 大数据职业的发展
1.4.2 大数据的未来
1.4.3 大数据职业的规划
第2章 初识大数据
2.1 大数据的基础知识
2.1.1 什么是大数据
2.1.2 大数据为什么重要
2.1.3 大数据的维度
2.2 大数据的类型
2.2.1 结构化数据与非结构化数据
2.2.2 几个大数据的例子
2.3 大数据的行业应用
2.4 企业面临的大数据挑战类型
2.4.1 大数据从何而来
2.4.2 企业如何获取大数据
2.4.3 大数据的存储问题
2.4.4 大数据对分析人才的要求
2.4.5 大数据带来的挑战类型
第3章 数据库基础
3.1 数据库简介
3.1.1 数据管理技术发展史
3.1.2 数据库的应用
3.1.3 数据库系统概述
3.2 关系型数据库
3.2.1 数据模型概述
3.2.2 关系数据模型
3.2.3 E-R数据模型
3.2.4 关系型数据库的设计原则
3.3 数据仓库
3.3.1 数据仓库的历史
3.3.2 数据仓库系统的组成
3.3.3 ETL
3.3.4 数据仓库与操作型数据库的关系
3.4 Hadoop与分布式数据存储
3.4.1 大数据对存储技术的挑战和Hadoop的起源
3.4.2 Hadoop生态圈及系统架构
3.4.3 Hadoop应用场景
3.4.4 Hadoop局限性
3.5 阿里云MaxCompute
3.5.1 MaxCompute简介
3.5.2 MaxCompute的基本概念
3.5.3 MaxCompute数据的导入导出
3.5.4 MaxCompute SQL
3.5.5 函数
3.5.6 MaxCompute MapReduce
3.5.7 MaxCompute权限与安全
3.6 常用Linux指令简介
3.6.1 安装和登录指令
3.6.2 文件处理指令
3.6.3 系统管理相关指令
3.6.4 网络操作指令
3.6.5 系统安全相关指令
3.6.6 其他指令
第4章 数据分析工具与语言
4.1 SQL基础
4.1.1 SQL简介
4.1.2 MySQL数据类型
4.1.3 数据定义语言
4.1.4 数据操作语言
4.1.5 join
4.1.6 数据表的合并、交集
4.1.7 SQL实用函数
4.2 MapReduce
4.2.1 MapReduce Job
4.2.2 MapReduce主程序
4.2.3 MapReduce主程序运行详解
4.2.4 MapReduce数据流与控制流详解
4.2.5 MapReduce小结
4.3 Hive
4.4 Pig
4.5 HDFS
4.5.1 HDFS的相关概念
4.5.2 HDFS的基本操作
4.5.3 HDFS常用的Java API介绍
第5章 数据可视化
5.1 数据可视化概念
5.1.1 数据可视化的定义与原则
5.1.2 数据可视化的设计思路
5.2 数据可视化元素
5.2.1 表格
5.2.2 柱状图
5.2.3 折线图
5.2.4 饼图
5.2.5 地图
5.2.6 散点图
5.2.7 其他常见图
5.3 数据可视化设计原则
5.4 DataV设计
5.5 BI报表设计
第6章 数据项目质量控制
6.1 数据质量控制理论
6.1.1 数据质量的五个维度
6.1.2 脏数据类型
6.2 评估数据的质量及其对项目的影响
6.2.1 数据如何创造价值――DIK
6.2.2 数据质量问题对企业创造价值的影响
6.3 数据预处理
6.3.1 数据预处理的五大步骤
6.3.2 数据清洗场景
6.3.3 脏数据清洗过程
6.3.4 脏数据与脏数据清洗的基本方法
6.3.5 脏数据处理的案例
6.3.6 SQL处理脏数据示例
6.4 数据脱敏
6.4.1 确定数据脱敏对象
6.4.2 隐私数据泄露类型
6.4.3 隐私数据脱敏的要求
6.4.4 常见的数据脱敏算法
6.5 数据项目质量控制的类型
第7章 数据编程基础
7.1 面向分析的数据编程范例
7.1.1 数据项目的特点
7.1.2 数据项目编程的流程
7.1.3 面向分析的数据编程范例
7.2 编程效率和程序运行效率
7.2.1 编程效率
7.2.2 程序运行效率
7.3 编程质量控制流程
第8章 数据项目设计与执行
8.1 数据分析项目计划管理流程
8.2 数据项目设计方法
8.2.1 项目目标
8.2.2 背景调查
8.2.3 分析范围
8.2.4 分析结果交付形式
8.3 数据分析项目的分类
8.4 项目前分析和项目绩效考评
第9章 数据分析技术
9.1 指标体系
9.1.1 绩效指标(KPI)的定义
9.1.2 企业构建指标体系
9.1.3 平衡计分卡常见指标
9.2 数据分析
9.2.1 数据分析的定义
9.2.2 数据分析的目的
9.2.3 数据分析的作用
9.3 探索性数据分析(EDA)
9.3.1 EDA简介
9.3.2 单一变量探索性分析
9.3.3 多变量探索性分析
9.4 探索性数据分析应用案例
9.4.1 情况介绍
9.4.2 数据介绍
9.4.3 EDA探索分析遵循银行政策情况
9.4.4 EDA探索分析懒惰的银行客户代表
9.4.5 EDA探索分析银行客户代表是否执行了有效的沟通
9.5 EDA中的指标变换形式
9.5.1 总量指标
9.5.2 相对指标
第10章 常用数据挖掘技术
10.1 决策树
10.1.1 决策树概述
10.1.2 信息熵
10.1.3 ID3算法
10.1.4 C4.5算法
10.1.5 CART算法
10.2 聚类分析
10.2.1 聚类概述
10.2.2 样本间距离
10.2.3 K-means聚类
10.2.4 群体距离
10.2.5 层次聚类
10.2.6 聚类算法的评估
10.3 关联分析
10.3.1 关联规则量化指标
10.3.2 Apriori算法