数据抽取、清洗与转换及BI项目中ETL设计[4]

数据转换

数据转换的任务主要是进行不一致的数据转换数据粒度的转换和一些商务规则的计算

A不一致数据转换这个过程是一个整合的过程将不同业务系统的相同类型的数据统一比如同一个供应商在结算系统的编码是XX而在CRM中编码是YY这样在抽取过来之后统一转换成一个编码

B数据粒度的转换业务系统一般存储非常明细的数据而数据仓库中的数据是用来分析的不需要非常明细的数据一般情况下会将业务系统数据按照数据仓库粒度进行聚合

C商务规则的计算不同的企业有不同的业务规则不同的数据指标这些指标有的时候不是简单的加加减减就能完成这个时候需要在ETL中将这些数据指标计算好了之后存储在数据仓库中供分析使用

ETL日志与警告发送

◆ETL日志记录日志的目的是随时可以知道ETL运行情况如果出错了出错在那里

ETL日志分为三类第一类是执行过程日志是在ETL执行过程中每执行一步的记录记录每次运行每一步骤的起始时间影响了多少行数据流水账形式第二类是错误日志当某个模块出错的时候需要写错误日志记录每次出错的时间出错的模块以及出错的信息等第三类日志是总体日志只记录ETL开始时间结束时间是否成功信息

如果使用ETL工具工具会自动产生一些日志这一类日志也可以作为ETL日志的一部分

◆警告发送

ETL出错了不仅要写ETL出错日志而且要向系统管理员发送警告发送警告的方式有多种常用的就是给系统管理员发送邮件并附上出错的信息方便管理员排查错误

[] [] [] []