大数据工程化处理与应用实训 中级

本教材编写以《大数据工程化处理与应用职业技能等级标准》为依据，围绕大数据工程技术领域人才需求与岗位能力、通过项目任务教学法进行内容设计。本教材包括网络数据采集、离线数据采集、数据清洗计算、数据计算派生、数据处理、联机分析处理与决策报表应用、搜索系统与推送报表应用共7个项目15个任务的内容，涵盖“网络爬虫技术与应用”“大数据ETL处理”“大数据查询技术与应用”等专业核心课程。按照“引导案例-职业能力目标-任务描述与要求-任务资讯-任务计划与决策-任务实施-任务小结-任务拓展”的组织结构进行设计，以环境、交通、电子商务等不同行业的大数据应用情景作为教学案例。本教材可作为1+X证书制度试点工作中的大数据工程化处理与应用职业技能等级标准的教学和培训教材，也可作为期望从事大数据行业中的大数据处理与应用相关领域工作人员的参考书。

第一篇 大数据工程化采集
项目一 基于Requestium的空气质量数据采集
【引导案例】
任务一 基于Requestium实现网络数据采集
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 爬虫作业调度
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
项目二 基于Sqoop的外贸离线数据采集
【引导案例】
任务一 基于Sqoop实现离线数据采集
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 离线采集脚本调度
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
第二篇 大数据工程化处理
项目三 基于Hive的气象数据清洗计算
【引导案例】
任务一 清洗气象指标数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 计算气象指标数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
项目四 基于Hive的电商数据计算派生
【引导案例】
任务一 计算电商指标数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 派生电商指标数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
项目五 基于Hive的共享单车数据处理
【引导案例】
任务一 清洗共享单车数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 计算共享单车数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务三 派生共享单车数据
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
第三篇 大数据工程化应用
项目六 基于Kylin的出租车数据应用
【引导案例】
任务一 联机分析处理
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 实现数据决策报表
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
项目七 基于ElasticSearch的影评数据应用
【引导案例】
任务一 构建全文搜索系统
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
任务二 实现数据推送报表
【能力目标】
【任务描述与要求】
【任务资讯】
【任务计划与决策】
【任务实施】
【任务小结】
【任务拓展】
参考文献