作为Oracle DBA我们有时候需要追蹤数据误删除或用户的恶意操作情况此时我们不仅需要查出执行这些操作的数据库账号还需要知道操作是由哪台客户端(IP地址等)发出的针对这些问题一个最有效实用而又低成本的方法就是分析Oracle数据库的日志文件本文将就Oracle日志分析技术做深入探讨
一如何分析即LogMiner解释
从目前来看分析Oracle日志的唯一方法就是使用Oracle公司提供的LogMiner来进行 Oracle数据库的所有更改都记录在日志中但是原始的日志信息我们根本无法看懂而LogMiner就是让我们看懂日志信息的工具从这一点上看它和tkprof差不多一个是用来分析日志信息一个则是格式化跟蹤文件通过对日志的分析我们可以实现下面的目的
查明数据库的逻辑更改
侦察并更正用户的误操作
执行事后审计
执行变化分析
不仅如此日志中记录的信息还包括数据库的更改历史更改类型(INSERTUPDATEDELETEDDL等)更改对应的SCN号以及执行这些操作的用户信息等LogMiner在分析日志时将重构等价的SQL语句和UNDO语句(分别记录在V$LOGMNR_CONTENTS视图的SQL_REDO和SQL_UNDO中)这里需要注意的是等价语句而并非原始SQL语句例如我们最初执行的是delete a where c <>cyx;而LogMiner重构的是等价的条DELETE语句所以我们应该意识到V$LOGMNR_CONTENTS视图中显示的并非是原版的现实从数据库角度来讲这是很容易理解的它记录的是元操作因为同样是delete a where c <>cyx;语句在不同的环境中实际删除的记录数可能各不相同因此记录这样的语句实际上并没有什么实际意义LogMiner重构的是在实际情况下转化成元操作的多个单条语句
另外由于Oracle重做日志中记录的并非原始的对象(如表以及其中的列)名称而只是它们在Oracle数据库中的内部编号(对于表来说是它们在数据库中的对象ID而对于表中的列来说对应的则是该列在表中的排列序号COL COL 等)因此为了使LogMiner重构出的SQL语句易于识别我们需要将这些编号转化成相应的名称这就需要用到数据字典(也就说LogMiner本身是可以不用数据字典的详见下面的分析过程)LogMiner利用DBMS_LOGMNR_DBUILD()过程来提取数据字典信息
LogMiner包含两个PL/SQL包和几个视图
dbms_logmnr_d包这个包只包括一个用于提取数据字典信息的过程即dbms_logmnr_dbuild()过程
dbms_logmnr包它有三个过程
add_logfile(name varchar options number) 用来添加/删除用于分析的日志文件
start_logmnr(start_scn number end_scn number start_time numberend_time number dictfilename varchar options number) 用来开启日志分析同时确定分析的时间/SCN窗口以及确认是否使用提取出来的数据字典信息
end_logmnr() 用来终止分析会话它将回收LogMiner所占用的内存
与LogMiner相关的数据字典
v$logmnr_dictionaryLogMiner可能使用的数据字典信息因logmnr可以有多个字典文件该视图用于显示这方面信息
v$logmnr_parameters当前LogMiner所设定的参数信息
v$logmnr_logs当前用于分析的日志列表
v$logmnr_contents日志分析结果
二Oraclei LogMiner的增强
支持更多数据/存储类型链接/迁移行CLUSTER表操作DIRECT PATH插入以及DDL操作在V$LOGMNR_CONTENTS的SQL_REDO中可以看到DDL操作的原句(CREATE USER除外其中的密码将以加密的形式出现而不是原始密码)如果TX_AUDITING初始化参数设为TRUE则所有操作的数据库账号将被记录
提取和使用数据字典的选项现在数据字典不仅可以提取到一个外部文件中还可以直接提取到重做日志流中它在日志流中提供了操作当时的数据字典快照这样就可以实现离线分析
允许对DML操作按事务进行分组可以在START_LOGMNR()中设置COMMITTED_DATA_ONLY选项实现对DML操作的分组这样将按SCN的顺序返回已经提交的事务
支持SCHEMA的变化在数据库打开的状态下如果使用了LogMiner的DDL_DICT_TRACKING选项Oraclei的LogMiner将自动对比最初的日志流和当前系统的数据字典并返回正确的DDL语句并且会自动侦察并标记当前数据字典和最初日志流之间的差别这样即使最初日志流中所涉及的表已经被更改或者根本已经不存在LogMiner同样会返回正确的DDL语句
在日志中记录更多列信息的能力例如对于UPDATE操作不仅会记录被更新行的情况还可以捕捉更多前影信息
支持基于数值的查询Oraclei LogMiner在支持原有基于元数据(操作对象等)查询的基础上开始支持基于实际涉及到的数据的查询例如涉及一个工资表现在我们可以很容易地查出员工工资由变成的原始更新语句而在之前我们只能选出所有的更新语句
三Oraclei/i的日志分析过程
LogMiner只要在实例起来的情况下都可以运行LogMiner使用一个字典文件来实现Oracle内部对象名称的转换如果没有这个字典文件则直接显示内部对象编号例如我们执行下面的语句
delete from CA where C = gototop and ROWID = AAABgAAFAAABQaAAH;
如果没有字典文件LogMiner分析出来的结果将是
delete from UNKNOWNOBJ# where COL = HEXTORAW(dadae) and ROWID
= AAABgAAFAAABQaAAH;
如果想要使用字典文件数据库至少应该出于MOUNT状态然后执行dbms_logmnr_dbuild过程将数据字典信息提取到一个外部文件中下面是具体分析步骤
确认设置了初始化参数UTL_FILE_DIR并确认Oracle对改目录拥有读写权限然后启动实例示例中UTL_FILE_DIR参数如下
SQL> show parameter utl
NAME TYPEvalue
utl_file_dir string/data/cyx/logmnr
这个目录主要用于存放dbms_logmnr_dbuild过程所产生的字典信息文件如果不用这个则可以不设也就跳过下面一步
生成字典信息文件
exec dbms_logmnr_dbuild(dictionary_filename =>
dicoradictionary_location => /data/cyx/logmnr);
其中dictionary_location指的是字典信息文件的存放位置它必须完全匹配UTL_FILE_DIR的值例如假设UTL_FILE_DIR=/data/cyx/logmnr/则上面这条语句会出错只因为UTL_FILE_DIR后面多了一个/而在很多其它地方对这一/是不敏感的
dictionary_filename指的是放于字典信息文件的名字可以任意取当然我们也可以不明确写出这两个选项即写成
exec dbms_logmnr_dbuild(dicora/data/cyx/logmnr);
如果你第一步的参数没有设而直接开始这一步Oracle会报下面的错误
ERROR at line :
ORA: initialization parameter utl_file_dir is not set
ORA: at SYSDBMS_LOGMNR_D line
ORA: at SYSDBMS_LOGMNR_D line
ORA: at line
需要注意的是在oracle for Windows版中会出现以下错误
:: SQL> execute dbms_logmnr_dbuild(oradictorac:\oracle\admin\ora\log);
BEGIN dbms_logmnr_dbuild(oradictorac:\oracle\admin\ora\log); END;
*
ERROR at line :
ORA: Subscript outside of limit
ORA: at SYSDBMS_LOGMNR_D line
ORA: at line
解决办法
编辑$ORACLE_HOME/rdbms/admindbmslmdsql文件把其中的
TYPE col_desc_array IS VARRAY() OF col_description;
改成
TYPE col_desc_array IS VARRAY() OF col_description;
保存文件然后执行一遍这个脚本
:: SQL> @c:\oracle\ora\rdbms\admin\dbmslmdsql
Package created
Package body created
No errors
Grant succeeded
然后重新编译DBMS_LOGMNR_D包
:: SQL> alter package DBMS_LOGMNR_D compile body;
Package body altered
之后重新执行dbms_logmnr_dbuild即可
:: SQL> execute dbms_logmnr_dbuild(oradictorac:\oracle\admin\ora\log);
PL/SQL procedure successfully completed
添加需要分析的日志文件
SQL>exec dbms_logmnradd_logfile( logfilename=>
/data/cyx/racarch/arch__arc options=>dbms_logmnrnew);
PL/SQL procedure successfully completed
这里的options选项有三个参数可以用
NEW 表示创建一个新的日志文件列表
ADDFILE 表示向这个列表中添加日志文件如下面的例子
REMOV