一ORACLE实例
ORACLE 实例——包括内存结构与后台进程
System Global Area(SGA) 和 Background Process 称为数据库的实例
ORACLE 数据库——物理操作系统文件的集合
一系列物理文件的集合(数据文件控制文件联机日志参数文件等)
系统全局共享区System Global Area(SGA)
System Global Area 是一块巨大的共享内存区域他被看做是Oracle 数据库的一个大缓沖池这里的数据可以被ORACLE的各个进程共用其大小可以通过如下语句查看
SQL> select * from v$sga;
NAME VALUE
Fixed Size
Variable Size
Database Buffers E+
Redo Buffers
更详细的信息可以参考V$sgastatV$buffer_pool
主要包括以下几个部分
a 共享池(Shared pool)
共享池是SGA中最关键的内存片段特别是在性能和可伸缩性上一个太小的共享池会扼杀性能使系统停止太大的共享池也会有同样的效果将会消耗大量的CPU来管理这个共享池不正确的使用共享池只会带来灾难共享池主要又可以分为以下两个部分
SQL语句缓沖(Library Cache)
当一个用户提交一个SQL语句Oracle会将这句SQL进行分析(parse)这个过程类似于编译会耗费相对较多的时间在分析完这个SQLOracle会把他的分析结果给保存在Shared pool的Library Cache中当数据库第二次执行该SQL时Oracle自动跳过这个分析过程从而减少了系统运行的时间这也是为什么第一次运行的SQL 比第二次运行的SQL要慢一点的原因
下面举例说明parse的时间
SQL> select count(*) fromscpass ;
COUNT(*)
Elapsed: ::
这是在Share_pool 和Data buffer 都没有数据缓沖区的情况下所用的时间
SQL> alter system flush SHARED_POOL;
System altered
清空Share_pool保留Data buffer
SQL> select count(*) from scpass ;
COUNT(*)
Elapsed: ::
SQL> select count(*) from scpass ;
COUNT(*)
Elapsed: ::
从两句SQL 的时间差上可以看出该SQL 的Parse 时间约为::
对于保存在共享池中的SQL语句可以从V$Sqltextv$Sqlarea中查询到对于编程者来说要尽量提高语句的重用率减少语句的分析时间一个设计的差的应用程序可以毁掉整个数据库的Share pool提高SQL语句的重用率必须先养成良好的变成习惯尽量使用Bind变量
数据字典缓沖区(Data Dictionary Cache)
显而易见数据字典缓沖区是ORACLE特地为数据字典准备的一块缓沖池供ORACLE内部使用没有什么可以说的
b块缓沖区高速缓存(Database Buffer Cache)
这些缓沖是对应所有数据文件中的一些被使用到的数据块让他们能够在内存中进行操作在这个级别里没有系统文件户数据文件临时数据文件回滚段文件之分也就是任何文件的数据块都有可能被缓沖数据库的任何修改都在该缓沖里完成并由DBWR进程将修改后的数据写入磁盘
这个缓沖区的块基本上在两个不同的列表中管理一个是块的髒表(Dirty List)需要用数据库块的书写器(DBWR)来写入另外一个是不髒的块的列表(Free List)一般的情况下是使用最近最少使用 (Least Recently UsedLRU)算法来管理块缓沖区高速缓存又可以细分为以下三个部分(Default poolKeep poolRecycle pool)如果不是人为设置初始化参数(Initora)ORACLE将默认为Default pool由于操作系统寻址能力的限制不通过特殊设置在位的系统上块缓沖区高速缓存最大可以达到G在位系统上块缓沖区高速缓存最大可以达到G
c重做日志缓沖区(Redo log buffer)
重做日志文件的缓沖区对数据库的任何修改都按顺序被记录在该缓沖然后由LGWR进程将它写入磁盘这些修改信息可能是DML语句如(InsertUpdateDelete)或DDL语句如(CreateAlterDrop等) 重做日志缓沖区的存在是因为内存到内存的操作比较内存到硬盘的速度快很多所以重作日志缓沖区可以加快数据库的操作速度但是考虑的数据库的一致性与可恢复性数据在重做日志缓沖区中的滞留时间不会很长所以重作日志缓沖区一般都很小大于M之后的重作日志缓沖区已经没有太大的实际意义
dJava程序缓沖区(Java Pool)
Java 的程序区Oracle I 以后Oracle 在内核中加入了对Java的支持该程序缓沖区就是为Java 程序保留的如果不用Java程序没有必要改变该缓沖区的默认大小
e大池(Large Pool)
大池的得名不是因为大而是因为它用来分配大块的内存处理比共享池更大的内存在开始引入
下面对象使用大池
MTS——在SGA的Large Pool中分配UGA
语句的并行查询(Parallel Executeion of Statements)——允许进程间消息缓沖区的分配用来协调 并行查询服务器
备份(Backup)——用于RMAN磁盘I/O缓存
后台进程(Background process)
后台进程是Oracle的程序用来管理数据库的读写恢复和监视等工作Server Process主要是通过他和user process进行联系和沟通并由他和user process进行数据的交换在Unix机器上Oracle后台进程相对于操作系统进程也就是说一个Oracle后台进程将启动一个操作系统进程;在Windows机器上 Oracle后台进程相对于操作系统线程打开任务管理器我们只能看到一个ORACLEEXE的进程但是通过另外的工具就可以看到包含在这里进程中的线程
在Unix上可以通过如下方法查看后台进程
ps –ef | grep ora_
# ps ef | grep ora_ | grep XCLUAT
oracle Sep : ora_dbwr_SID
oracle Sep : ora_ckpt_SID
oracle Sep : ora_smon_SID
oracle Sep : ora_lgwr_SID
oracle Sep : ora_pmon_SID
aOracle系统有 个基本进程他们是
DBWR(数据文件写入进程)
LGWR(日志文件写入进程)
SMON(系统监护进程)
PMON(用户进程监护进程)
CKPT(检查点进程同步数据文件 日志文件控制文件)
服务进程用户进程服务
用户进程在客户端负责将用户的SQL语句传递给服务进程并从服务器段拿回查询数据
bDBWR
负责将更改的数据从数据库缓沖区高速缓存写入数据文件
cLGWR
将重做日志缓沖区中的更改写入在线重做日志文件LGWR是一个必须和前台用户进程通信的进程当数据被修改的时候系统会产生一个重做日志并记录在重做日志缓沖区内这个重做日志可以类似的认为是以下的一个结构:
SCN=
数据块ID
对象ID=
数据行=
修改后的数据=
提交的时候LGWR必须将被修改的数据的重做日志缓沖区内数据写入日志数据文件然后再通知前台进程提交成功并由前台进程通知用户从这点可以看出LGWR承担了维护系统数据完整性的任务
LGWR 工作的主要条件如下
用户提交
有/ 重做日志缓沖区未被写入磁盘
有大于M 重做日志缓沖区未被写入磁盘
超时
DBWR需要写入的数据的SCN号大于LGWR 记录的SCN号DBWR 触发LGWR写入
dSMON 检查数据库的一致性如有必要还会在数据库打开时启动数据库的恢复
工作主要包含
清除临时空间
在系统启动时完成系统实例恢复
聚结空闲空间
从不可用的文件中恢复事务的活动
OPS中失败节点的实例恢复
清除OBJ$表
缩减回滚段
使回滚段脱机
ePMON负责在一个Oracle 进程失败时清理资源
主要用于清除失效的用户进程释放用户进程所用的资源如PMON将回滚未提交的工作释放锁释放分配给失败进程的SGA资源
fCKPT
同步数据文件日志文件和控制文件由于DBWR/LGWR的工作原理造成了数据文件日志文件控制文件的不一至这就需要CKPT进程来同步CKPT会更新数据文件/控制文件的头信息
CKPT工作的主要条件如下
在日志切换的时候
数据库用immediate transaction normal 选项shutdown 数据库的时候
根据初始话文件LOG_CHECKPOINT_INTERVALLOG_CHECKPOINT_TIMEOUTFAST_START_IO_TARGET 的设置的数值来确定
用户触发
以下进程的启动需要手工配置
gARCH在每次日志切换时把已满的日志组进行备份或归档
当数据库以归档方式运行的时候Oracle会启动ARCH进程当重做日志文件被写满时日志文件进行切换旧的重做日志文件就被ARCH进程复制到一个/多个特定的目录/远程机器这些被复制的重做日志文件被叫做归档日志文件
hRECO
负责解决分布事物中的故障Oracle可以连接远程的多个数据库当由于网络问题有些事物处于悬而未决的状态RECO进程试图建立与远程服务器的通信当故障消除后RECO进程自动解决所有悬而未决的会话
i服务进程Server Process
服务进程的分类
专用服务进程(Dedicated Server Process)
一个服务进程对应一个用户进程
共享服务进程(MultiTreaded Server Process)
一个服务进程对应多个用户进程轮流为用户进程服务
PGA & UGA
PGA = Process Global Area
UGA = User Global Area
他保存了用户的变量权限堆栈排序空间等用户信息对于专用服务器进程UGA在PGA中分配对于多线程进程UGA在Large pool中分配
j用户进程User Process
在客户端将用户的SQL 语句传递给服务进程
一个贯穿数据库全局的概念系统改变号SCN(System Change Number)
系统改变号一个由系统内部维护的序列号当系统需要更新的时候自动增加他是系统中维持数据的一致性和顺序恢复的重要标志
a 查询语句不会使SCN增加就算是同时发生的更新数据库内部对应的SCN也是不同的这样一来就保证了数据恢复时候的顺序
b 维持数据的一致性当一
二ORACLE 数据库
ORACLE数据库的组成——物理操作系统文件的集合主要包括以下几种
控制文件(参数文件initora记录了控制文件的位置)
控制文件包括如下主要信息
数据库的名字检查点信息数据库创建的时间戳
所有的数据文件联机日志文件归档日志文件信息
备份信息等
有了这些信息Oracle就知道那些文件是数据文件现在的重做日志文件是哪些这些都是系统启动和运行的基本条件所以他是Oracle运行的根本如果没有控制文件系统是不可能启动的控制文件是非常重要的一般采用多个镜相复制来保护控制文件或采用RAID来保护控制文件控制文件的丢失将使数据库的恢复变的很复杂
控制文件信息可以从V$Controlfile中查询获得
数据文件(数据文件的详细信息记载在控制文件中)
可以通过如下方式查看数据文件
SQL> select name from v$datafile;
NAME
/u/dbf/PROD/system_dbf
/u/dbf/PROD/temp_dbf
/u/dbf/PROD/users_dbf
/u/dbf/PROD/rbs_dbf
/u/dbf/PROD/applsys_indx_dbf
/u/dbf/PROD/applsys_data_dbf
从以上可以看出数据文件大致可以分为以下几类
i 系统数据文件(system_dbf)
存放系统表和数据字典一般不放用户的数据但是用户脚本如过程函数包等却是保存在数据字典中的
名词解释数据字典数据字典是一些系统表或视图他存放系统的信息他包括数据库版本数据文件信息表与索引等段信息系统的运行状态等各种和系统有关的信息和用户脚本信息数据库管理员可以通过对数据字典的查询就可以了解到Oracle的运行状态
ii 回滚段文件(rbs_dbf)
如果数据库进行对数据的修改那么就必须使用回滚段回滚段是用来临时存放修改前的数据(Before Image)回滚段通常都放在一个单独的表空间上(回滚表空间)避免表空间碎片化这个表空间包含的数据文件就是回滚数据文件
iii 临时数据文件(temp_dbf)
主要存放用户的排序等临时数据与回滚段相似临时段也容易引起表空间碎片化而且没有办法在一个永久表空间上开辟临时段所以就必须有一个临时表空间它所包含的数据文件就是临时数据文件主要用于不能在内存上进行的排序操作我们必须为用户指定一个临时表空间
iv 用户数据文件(/applsys_data_dbf applsys_indx_dbf)
存放用户数据这里列举了两类常见的用户型数据一般数据和索引数据一般来说如果条件许可的话可以考虑放在不同的磁盘上
重做日志文件(联机重做日志)
用户对数据库进行的任何操作都会记录在重做日志文件在了解重做日志之前必须了解重做日志的两个概念重做日志组和重做日志组成员(Member)一个数据库中至少要有两个日志组文件一组写完后再写另一组即轮流写每个日志组中至少有一个日志成员一个日志组中的多个日志成员是镜相关系有利于日志文件的保护因为日志文件的损坏特别是当前联机日志的损坏对数据库的影响是巨大的
联机日志组的交换过程叫做切换需要特别注意的是日志切换在一个优化效果不好的数据库中会引起临时的挂起挂起大致有两种情况
在归档情况下需要归档的日志来不及归档而联机日志又需要被重新利用
检查点事件还没有完成(日志切换引起检查点)而联机日志需要被重新利用
解决这种问题的常用手段是
i增加日志组
ii增大日志文件成员大小
通过v$log可以查看日志组v$logfile可以查看具体的成员文件
归档日志文件
Oracle可以运行在两种模式之中归档模式和不归档模式如果不用归档模式当然你就不会有归档日志但是你的系统将不会是一个实用系统特别是不能用于生产系统因为你可能会丢失数据但是在归档模式中为了保存用户的所有修改在重做日志文件切换后和被覆盖之间系统将他们另外保存成一组连续的文件系列该文件系列就是归档日志文件
有人或许会说归档日志文件占领我大量的硬盘空间其实具体想一想你是愿意浪费一点磁盘空间来保护你的数据还是愿意丢失你的数据呢?显而义见我们需要保证我们的数据的安全性其实归档并不是一直占领你的磁盘空间你可以把她备份到磁带上或则删除上一次完整备份前的所有日志文件
初始化参数文件
initSIDora或initora文件因为版本的不一样其位置也可能会不一样在i中通常位于$ORACLE_HOME/admin//Pfile下初始化文件记载了许多数据库的启动参数如内存控制文件进程数等在数据库启动的时候加载(Nomount时加载)初始化文件记录了很多重要参数对数据库的性能影响很大如果不是很了解不要轻易乱改写否则会引起数据库性能下降
其他文件
i 密码文件
用于Oracle 的具有sysdba权限用户的认证
ii 日志文件
报警日志文件(alertlog或alrtora)
记录数据库启动关闭和一些重要的出错信息数据库管理员应该经常检查这个文件并对出现的问题作出即使的反应你可以通过以下SQL 找到他的路径select value from v$PARAMETER where name =background_dump_dest;
后台或用户跟蹤文件
系统进程或用户进程出错前写入的信息一般不可能读懂可以通过ORACLE的TKPROF工具转化为可以读懂的格式对于系统进程产生的跟蹤文件与报警日志文件的路径一样用户跟蹤文件的路径你可以通过以下SQL找到他的路径select value from v$PARAMETER where name =user_dump_dest;
三ORACLE逻辑结构
表空间(tablespace)
表空间是数据库中的基本逻辑结构一系列数据文件的集合一个表空间可以包含多个数据文件但是一个数据文件只能属于一个表空间
段(Segment)
段是对象在数据库中占用的空间虽然段和数据库对象是一一对应的但段是从数据库存储的角度来看的一个段只能属于一个表空间当然一个表空间可以有多个段
表空间和数据文件是物理存储上的一对多的关系表空间和段是逻辑存储上的一对多的关系段不直接和数据文件发生关系一个段可以属于多个数据文件关于段可以指定扩展到哪个数据文件上面
段基本可以分为以下四种
数据段(Data Segment)
索引段(Index Segment)
回滚段(Rollback Segment)
临时段(Temporary Segment)
区间(Extent)
关于Extent的翻译有多种解释有的译作扩展有的译作盘区我这里通常译为区间在一个段中可以存在多个区间区间是为数据一次性预留的一个较大的存储空间直到那个区间被用满数据库会继续申请一个新的预留存储空间即新的区间一直到段的最大区间数(Max Extent)或没有可用的磁盘空间可以申请 在ORACLEi以上版本理论上一个段可以无穷个区间但是多个区间对ORACLE却是有性能影响的ORACLE建议把数据分布在尽量少的区间上以减少ORACLE的管理与磁头的移动
Oracle数据块(Block)
ORACLE最基本的存储单位他是OS数据块的整数倍ORACLE的操作都是以块为基本单位一个区间可以包含多个块(如果区间大小不是块大小的整数倍ORACLE实际也扩展到块的整数倍)
基本表空间介绍
a 系统表空间
主要存放数据字典和内部系统表基表
查看数据数据字典的SQL
select * from dict
查看内部系统表的SQL
select * from v$fixed_view_definition
DBA对系统的系统表中的数据字典必须有一个很深刻的了解他们必须准备一些基础的SQL语句通过这些SQL可以立即了解系统的状况和数据库的状态这些基本的SQL包括
系统的剩余空间
系统的SGA
状态系统的等待
用户的权限
当前的用户锁
缓沖区的使用状况等
在成为DBA 的道路上我们不建议你过分的依赖于OEM/Quest 等优秀的数据库管理工具因为他们不利于你对数据数据字典的理解SQL语句可以完成几乎全部的数据库管理工作
大量的读少量的写是该表空间的一个显着的特点
b 临时表空间
临时表空间顾名思义是用来存放临时数据的例如排序操作的临时空间他的空间会在下次系统启动的时候全部被释放
c 回滚段表空间
i 回滚段在系统中的作用
当数据库进行更新插入删除等操作的时候新的数据被更新到原来的数据文件而旧的数据(Before Image)就被放到回滚段中如果数据需要回滚那么可以从回滚段将数据再复制到数据文件中来完成数据的回滚在系统恢复的时候 回滚段可以用来回滚没有被commit 的数据解决系统的一至性
回滚段在什么情况下都是大量的写一般是少量读因此建议把回滚段单独出来放在一个单独的设备(如单独的磁盘或RAID)以减少磁盘的IO争用
ii 回滚段的工作方式
一个回滚表空间可以被划分成多个回滚段
一个回滚段可以保存多个会话的数据
回滚段是一个圆形的数据模型
假设回滚段由 个区间组成他们的使用顺序就是区间à区间à区间à区间à区间也就是说区间是可以循环使用的当区间到区间的时候区间里面的会话还没有结束 区间用完后就不能再用区间这时系统必须分配区间来继续为其他会话服务服务
我们分析一个Update 语句的完成
① 用户提交一个Update 语句
② Server Process 检查内存缓沖
如果没有该数据块的缓沖则从磁盘读入
i 如果没有内存的有效空间DBWR被启动将未写入磁盘的髒缓沖写入磁盘
ii 如果有有效空间则读入
③ 在缓沖内更新数据
i 申请一个回滚段入口将旧数据写如回滚段
ii 加锁并更新数据
iii 并在同时将修改记录在Redo log buffer中
