一设计说明
设计这个自动化的目的是想要交替重复地使用固定的几个分区(分区编号~)来保存数据当最后一个分区就是快满的时候我们会把最旧数据的分区的数据清空出分区新数据就可以使用老分区空间了
应用这个自动化管理分区的环境是有些限制的其一分区的数据是呈现递增的比如分区字段是自增Id值或者是以日期作为分区;其二可以接受 历史数据被移除分区表带来的问题其三一天进库的数量不应大于分区管理表PartitionManage中Part_Value与 Change_Value的差因为我们作业执行的频率是天不过你可以调整Change_Value或者作业的执行频率;
具体脚本可以参考SQL Server 自动化删除表分区设计方案
二看图说话
(图整体概念图)
数据流经过分区方案被分配到不同的分区中从图中可以看出分区是可以重复利用的后台有一个所谓的自动化切换分区的作业在跑目的就是如果 重复利用这些分区这里的PRIMARY目的就是说明它与其它文件组的一个平级关系而且我们在做交换分区时候也会用到PRIMARY需要事先分配足够 的空间
(图自动化设计图)
这是自动化切换分区作业的逻辑处理其中分区管理表的设计是比较重要的它的灵活度关系到整个自动化的效果; 这个逻辑有以下几个特点
分区的索引进行存储位置对齐;其它索引在创建时就使用了分区方案索引数据跟随分区数据一起存储在分区中;
分区管理表包含了分区记录数预警设计在Id达到这个值后就会进行交换分区;
分区管理表FileGroup_String字段的数据可以通过SQL脚本自动化生成条件就是分区文件组名称需要有规律;
临时表是创建在PRIMARY主分区上跟原表使用相同的分区方案;需要事先给PRIMARY分配大于或者等于一个分区文件大小的空间这样在交换分区的时候就不用增量为主分区分配数据空间;
交换旧数据到临时表使用下面的语句可以把数据交换到相同的分区中编号这样可以应对临时表就是一个历史表而好处就是历史表也同样使用了分区
ALTER TABLE [tb] SWITCH PARTITION @PARTITION_num TO [Temp_tb] PARTITION@PARTITION_num
这里需要先修改分区方案才能修改分区函数这个跟创建分区函数与分区方案的顺序是刚好相反的
(图分区管理表PartitionManage)
字段说明Change_Value(预警Id值)Part_Value(分区函数值)FileGroup_String(分区文件组名称)IsDone(状态)UpdateTime(更新时间);
这就是那个分区管理表(PartitionManage)它是经过了几个版本后才把字段确定下来的现在它已经比较完善了能应对比较多的情况
比如我们可以修改预警值(Change_Value)让数据提早进入交换分区;
比如我们可以修改分区值(Part_Value)达到调整分区间隔的目的;
比如我们可以修改分区文件组名称(FileGroup_String)达到跳级文件组的目的;通过修改分区管理表来设置分区值与分区文件组的对应关系;
再比如我们一次性修改了分区方案和分区函数已经去到很后面的分区值了那么我们只要设置这些分区值的状态(IsDone)为(True)就可以解决了
记录了进行交换分区的时间(UpdateTime)方便查询;
(图分区为Id字段的记录分布图)
这是一个实战中的分区情况这样的分区特点就是分区里面的记录数基本上是持平的在Partition_num=的记录中明显多了很多记录这就是因为我们没有及时进行交换分区造成的
(图分区为ClassId(分类)字段的记录分布图)
这同样是另外一个生产环境中的真实数据这个分区方式的特点就是分区的记录数不太均等而我们前期需要做的就是通过划分每个分区中ClassId的值来尽量均衡分区中的记录数所以可以看到最小与最大值跨度区别是比较大
