ETL数据整合与处理 : Kettle : 微课版. 2版

本书以使用Kettle工具实现ETL流程为目标，将ETL知识点与项目任务相结合，配合真实案例，按照ETL的流程，循序渐进地介绍ETL数据整合与处理的相关内容。全书共6个项目，项目1介绍ETL概念和ETL工具等；项目2以获取食品销售源数据为例，介绍获取不同类型源数据的方法，并说明它们之间的差别；项目3以整合和处理某大型供应链集团的食品销售数据为例，介绍从获取多份源数据开始，使用排序、合并、剪切、拆分、删除、过滤、替换和输出等一系列与ETL流程相匹配的处理方法，整合和处理出一份符合项目阶段目标要求的数据的方法，帮助读者快速理解和掌握ETL；项目4以项目3的阶段目标数据作为源数据，介绍进行数据计算和统计的方法，以及将统计结果输出到不同类型的数据文件中的方式，帮助读者从业务上理解数据计算和统计的要求，以及输出结果的方法；项目5介绍Kettle的任务执行方式，构建任务流程，设定调度时间，自动执行项目3中整合和处理食品销售数据的任务；项目6介绍无人售货机项目，通过项目案例的形式，帮助读者将所学知识融会贯通。本书可以作为高校大数据相关专业的教材，也可以作为ETL爱好者的自学用书。

郑健，武昌职业学院，担任专职教师、如软件技术、信息安全技术应用专业教研室主任。获得软件著作权2项，专利2项；2023年“湖北工匠杯”职业技能大赛-计算机软件工程技术人员赛项一等奖，获得“湖北省技术能手”称号；2023年第五届全国高校计算机能力挑战赛评为“优秀指导教师”“优秀组织者”；第二十二届武汉市职业技能大赛暨2021年武汉市职业院校技能大赛，指导学生获得一等奖，并获得“优秀指导教师”称号；2021、2022、2023、2024年连续4年获得新华三全国大学生数字技术大赛“优秀指导教师”。

项目1　开启ETL之旅　1任务1.1　认识ETL　11.1.1　了解ETL　21.1.2　选择ETL工具　4任务1.2　配置Kettle运行环境　71.2.1　安装JDK　81.2.2　安装MySQL数据库　101.2.3　配置Kettle　11任务1.3　熟悉Kettle的基本操作　121.3.1　认识Kettle界面　121.3.2　了解转换和任务　171.3.3　运行工程并查看执行结果　20小结　22实训　22实训1　安装MySQL数据库　22实训2　安装Kettle　23课后习题　23项目2　获取食品销售源数据　25任务2.1　创建数据库连接　252.1.1　新建数据库连接　262.1.2　设置数据库连接参数　262.1.3　测试和浏览数据库连接　292.1.4　建立/停止共享数据库连接　30任务2.2　获取数据库的食品销售数据　312.2.1　创建“表输入”组件　312.2.2　设置组件参数　322.2.3　预览获取的数据　34任务2.3　获取CSV文件的食品销售数据　352.3.1　创建“CSV文件输入”组件　352.3.2　设置组件参数　352.3.3　预览获取的数据　38任务2.4　获取Excel文件的食品销售数据　382.4.1　创建“Microsoft Excel input”组件　392.4.2　设置组件参数　392.4.3　预览获取的数据　47小结　47实训　48实训1　获取数据库的日化销售数据　48实训2　获取CSV文件的日化销售数据　48实训3　获取Excel文件的日化销售数据　49课后习题　49项目3　整合和处理食品销售数据　51任务3.1　处理多文件销售数据　523.1.1　排序文件数据　523.1.2　连接销售数据文件　563.1.3　字段选择　593.1.4　删除不规范的“销售时间”字段　643.1.5　替换“包装单位”字段的NULL值　67任务3.2　合并销售数据　703.2.1　合并数据　703.2.2　合并所有的销售数据　74任务3.3　剪切“平台”字段的字符串　763.3.1　创建“剪切字符串”组件　773.3.2　设置组件参数　773.3.3　预览结果数据　78任务3.4　拆分“经营单位”字段　793.4.1　创建“拆分字段”组件　793.4.2　设置组件参数　793.4.3　预览结果数据　81任务3.5　删除数据中的多余字段和重复记录　823.5.1　删除多余字段　823.5.2　删除重复记录　84任务3.6　过滤并替换不规范的字段数据　873.6.1　设定条件过滤记录　873.6.2　规范字段数据　93任务3.7　输出销售数据到数据库表　953.7.1　创建“表输出”组件　953.7.2　设置组件参数　963.7.3　预览结果数据　99小结　99实训　100实训1　合并D平台的日化销售数据　100实训2　处理B、C平台的日化销售数据　101实训3　整合和处理A、B、C、D平台的日化销售数据　102课后习题　102项目4　统计食品销售数据　106任务4.1　计算订单利润和利润率　1064.1.1　创建计算订单利润和利润率的组件　1074.1.2　设置组件参数　1084.1.3　预览结果数据　109任务4.2　计算单价　1094.2.1　创建“计算器”组件　1104.2.2　设置组件参数　1104.2.3　预览结果数据　111任务4.3　聚合统计销售额数据　1124.3.1　聚合统计销售额　1124.3.2　输出聚合统计结果　114任务4.4　统计平台食品销售数据　1194.4.1　分组统计　1194.4.2　输出结果到数据库　123任务4.5　统计分公司食品销售数据　1254.5.1　评出“优秀经营单位”　1254.5.2　插入结果到数据库　128任务4.6　统计商品品牌食品销售数据　1314.6.1　创建“SQL文件输出”组件　1324.6.2　设置组件参数　1334.6.3　预览结果数据　136任务4.7　对销售额进行离散化统计　1364.7.1　对销售额大小进行分段　1374.7.2　分段统计并输出结果到Excel文件　139小结　146实训　146实训1　计算日化销售数据中各个订单的利润、利润率　146实训2　统计平台日化销售数据　147实训3　统计分公司日化销售数据　147实训4　统计各个商品品牌的日化销售数据　148课后习题　148项目5　执行整合与处理食品销售数据任务　151任务5.1　开始任务　1525.1.1　创建“Start”组件　1525.1.2　设置组件参数　1525.1.3　运行任务　153任务5.2　检查输入源数据文件　1555.2.1　检查源数据文件是否存在　1555.2.2　等待文件上传　158任务5.3　检查输出数据表　1595.3.1　检查输出数据表是否存在　1605.3.2　使用“SQL”组件生成输出数据表　161任务5.4　执行数据整合与处理转换工程任务　1645.4.1　创建“执行数据整合与处理工程”组件　1645.4.2　设置组件参数　1655.4.3　运行任务　169任务5.5　添加日志文件　1695.5.1　创建“添加文件到结果文件中”组件　1695.5.2　设置组件参数　1705.5.3　运行任务　171任务5.6　发送日志邮件　1725.6.1　创建“发送邮件”组件　1725.6.2　设置组件参数　1725.6.3　运行任务　176任务5.7　结束任务　1775.7.1　创建“成功”组件　1775.7.2　设置组件参数　1775.7.3　运行任务　178小结　178实训　178实训1　执行日化销售数据整合与处理任务　178实训2　执行统计日化销售数据任务　179课后习题　180项目6　无人售货机项目实战　183任务6.1　了解无人售货机项目背景与目标　1836.1.1　了解项目背景　1846.1.2　熟悉项目目标　1846.1.3　熟悉数据字段　184任务6.2　统计客户订单数据　1876.2.1　分析任务数据和数据处理需求　1876.2.2　熟悉任务流程　1886.2.3　实现客户订单数据的统计　189任务6.3　统计商品销售数据　1926.3.1　分析任务数据和数据处理需求　1936.3.2　熟悉任务流程　1936.3.3　实现商品销售数据的统计　194任务6.4　统计无人售货机日销售数据　1976.4.1　分析任务数据和数据处理需求　1976.4.2　熟悉任务流程　1986.4.3　实现无人售货机日销售数据的统计　199任务6.5　统计无人售货机销售盈利数据　2026.5.1　分析任务数据和数据处理需求　2036.5.2　熟悉任务流程　2046.5.3　实现无人售货机销售盈利数据的统计　205小结　211课后习题　212