深入探讨数据仓库建模与ETL的实践技巧[6]

(三)日志表的运用

在对数据进行处理时难免会发生数据处理错误产生出错信息那么我们如何获得出错信息并及时修正呢? 方法是我们使用一张或多张Log日志表将出错信息记录下来在日志表中我们将记录每次抽取的条数处理成功的条数处理失败的条数处理失败的数据处理时间等等这样当数据发生错误时我们很容易发现问题所在然后对出错的数据进行修正或重新处理

(四)使用调度

在对数据仓库进行增量更新时必须使用调度(图九picbmp)即对事实数据表进行增量更新处理在使用调度前要考虑到事实数据量确定需要多长时间更新一次比如希望按天进行查看那么我们最好按天进行抽取如果数据量不大可以按照月或半年对数据进行更新如果有缓慢变化维度情况调度时需要考虑到维度表更新情况在更新事实数据表之前要先更新维度表

调度是数据仓库的关键环节要考虑缜密在ETL的流程搭建好后要定期对其运行所以调度是执行ETL流程的关键步骤每一次调度除了写入Log日志表的数据处理信息外还要使用发送Email或报警服务等这样也方便的技术人员对ETL流程的把握增强了安全性和数据处理的准确性

五总结

构建企业级数据仓库需要简单的五步掌握了这五步的方法我们可以构建一个强大的数据仓库然而每一步都有很深的内容需要研究与挖掘尤其在实际项目中我们要综合考虑例如如果数据源的髒数据很多在搭建数据仓库之前我们首先要进行数据清洗以剔除掉不需要的信息和髒数据

ETL是OLTP系统和OLAP系统之间的桥梁是数据从源系统流入数据仓库的通道在数据仓库的项目实施中它关系到整个项目的数据质量所以马虎不得必须将其摆到重要位置将数据仓库这一大厦的根基筑牢!

[] [] [] [] [] []