数据仓库技术的每次演进都以发掘企业数据中更多价值作为目标而近期流行的动态数据仓库技术不仅在灵活性可视化方面有了长足进步还能够对企业决策合作伙伴及客户服务提供更为强大的支持
数据仓库发展历程
数据仓库的发展历史具体可以划分为五个阶段数据仓库系统发展之初其主要作用是为企业内部的某些部门提供一些固定的报表因此这一阶段通产被成为报表阶段在该阶段数据仓库的结构可以根据具体问题进行优化即使数据查询人员要求访问的信息量极其巨大处理这些资料的效率仍然可以很高
当企业用户的关注点从发生了什么转向为什么会发生数据仓库进入了分析阶段在这一阶段决策者开始对数据进行分析实质上是在了解报表数据的真实涵义这就需要更详细地对数据进行多角度分析为了解决数据查询的瓶颈出现了联机分析处理(OLAP)环境它可以使对数据进行多角度分析的反应时间以秒或分钟来计算因为在OLAP环境中很多聚合数据都是预先计算好的而且数据的存储格式也和传统的关系型数据库环境存在本质区别
拥有了量化的数据支持后企业对经营的动态情况以及这种情况为什么发生都会有所体验接下来就要将业务信息用于预测了数据仓库也随之进入预测阶段即数据挖掘阶段数据挖掘能够预知企业即将发生的动向帮助管理者更为积极地管理和实施企业战略数据挖掘为用户提供丰富的数据采集工具以便利用历史数据创建预测模型
数据仓库演进的第阶段即是动态数据仓库第到第阶段的数据仓库技术都以支持企业内部战略性决策为重点而第阶段则侧重在战术性的决策支持为执行企业战略的员工提供支持我们将这一阶段称为营运导向阶段
动态数据仓库技术在企业环境成熟应用后将引领企业动态性阶段伴随着动态数据仓库在决策支持领域所扮演的角色越来越重要企业实现决策自动化的积极性也在不断提高在人工操作效果不明显时为了寻求决策的有效性和连续性企业会趋向于采取自动决策方式
数据仓库动起来
动态数据仓库是一种创新理念但其技术基础和架构思想还是来自传统数据仓库技术关键的区别是动态数据仓库增加了动态特性与传统数据仓库相比它具有如下特点
.动态访问
动态访问是指一线用户可以动态或实时地访问所需要的信息传统的数据仓库用户只针对高端管理层而如果要实现大量客户经理和客户代表同时访问是一个很大的压力动态数据仓库采用不同于传统数据仓库的技术手段扩展了数据仓库系统的用户范围实现动态访问可以说动态数据仓库让一线员工真正动了起来
.动态数据加载
传统数据仓库保存的是历史的相对静止的集成的企业数据其往往是先加载好数据再去支撑业务查询而动态数据仓库的数据加载却可以在加载数据的同时满足用户的查询请求而且动态加载的负荷不影响用户使用数据仓库不仅如此动态数据仓库的数据也是准实时加载的这样就可以使用户能够访问几乎和生产环境时效相当的数据
.动态事件
传统数据仓库只是支持用户对企业历史数据的分析或者经过一些模型对未来的一些发展进行预测它无法支持一线员工在遇到一些动态事件(例如银行柜台向客户推荐理财产品)时进行一些实时的业务操作而动态数据仓库就可以支持一线员工在遇到这些动态事件时及时做出响应成功抓住业务机会从而大幅提升业绩因为从事情发生到采取行动的时间越短成功销售的命中率就越高所获的价值也就越高
.动态负载管理
传统数据仓库在负载管理方面没有什么特殊要求而动态数据仓库则包含策略动态负载管理和操作动态负载管理其中操作动态负载管理一般是比较简单的访问不需要看太多的信息而策略动态负载管理则需要实施复杂的数据挖掘
.动态企业集成
传统数据仓库主要用来支持企业用户对数据进行分析而动态数据仓库则可以将企业所有系统都很好地整合在一起形成一个闭环从而实现流程的自动化而不是一个独立的系统
.动态可用性
因为动态数据库已经不是一个纯粹的后台系统而是业务运营的一部分因此对可靠性稳定性的要求更为严格
动态数据仓库设计
前面提到动态数据仓库在技术设施上采用得都是已有技术而实现的难点在于动态即如何实现数据仓库的动态特性这也是部署动态数据仓库系统的关键所在动态数据仓库中包含了传统数据仓库的各种元素例如元数据管理数据分发对外服务调度管理代码自动化数据质量管理等
要实现动态数据仓库中的动态数据加载有多个实施方案供用户选择目前市场中存在多个接近实时的数据同步解决方案例如在专有工具方面可以借助IBM WRS SQL复制和IBM WRS基于Q的复制实现ETL工具包含Informatica PowerExchangeIBM DataStage加CDC组件数据库工具包括甲骨文数据库的复制技术DB基于CD/CCD的SQL复制以及SQL Server的出版社订阅复制技术另外数据捕获器与消息中间件的集成可以提供动态数据仓库的客户化集成解决方案
上述方案基本上是基于现有的数据库复制技术进行除此之外还有一些专业的数据同步软件例如GoldenGate就是进行数据实时同步的一个非常好的工具有报道称美国领先卫星电视服务提供商DIRECTV就是采用GoldenGate和Teradata来部署动态数据仓库并获得成功的
动态数据仓库的应用
现阶段动态数据仓库的实践者主要为速递服务公司和金融保险类企业软件解决方案方面NCR teradata的ADW(Active Data Warehouse)Sybase IQ能够为企业的动态数据仓库应用提供比较好的支持其中Sybase IQ的特色在于采用了按列存储的创新技术和专有的数据压缩技术
近期速递服务行业纷纷开始构建邮件速递的实时动态查询系统作为这一系统的主要支撑技术动态数据仓库将帮助速递服务企业构建覆盖业务分析时限控制财务结算等内容的业务应用平台日前国内某速递服务公司就以Teradata平台作为其特快专递系统的硬件平台并采用Teradata ADW解决方案搭建起其第三代速递跟蹤查询系统
系统上线后该公司的速递邮件实时动态跟蹤查询系统每天处理超过千万笔信息全天邮件查询量从上线之初的几十万件次增加到了上百万件次高峰访问时段可达到每小时十几万件次借助动态数据仓库该公司速递邮件的收寄投递信息在处理完成几分钟内即可发送上网而对于采用无线手持终端方式上传的邮件状态可以在几秒钟内即体现出邮件的最新状态大大提高了查询的时效性更好地满足了用户的需求
而在金融行业现阶段的动态数据仓库应用主要是主动预防和管控某些业务风险而不是等到风险发生后再报告该过程将原来的被动管理转化为现在的主动防范而除了风险控管企业还可以通过对数据的分析和整理来判定自己的交易行为或客户的交易行为是否符合法律法规的要求