博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Oracle数据库--解决单张表中数据量巨大(大数据、数据量上百万级别,后查询,更新数据等耗时剧增)...
阅读量:5061 次
发布时间:2019-06-12

本文共 3516 字,大约阅读时间需要 11 分钟。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/QQ578473688/article/details/54561397
思路1:采用备份表
备份表中存储不活跃的数据eg:只有查询操作的数据(数据的部分属性字段不再更改)且查询次数也较少;
备份表可以是一张或者多张备份表,若采用多张备份表,则定期创建备份表(备份表的命名要规范,可以考虑使用原表名称+时间戳命名)
采用多张备份表:定期创建一个备份表(备份一定期间范围内的数据,多张备份表采用联合查询)
多张备份表时可以使用视图对多个备份表进行联合查询。
是否采用多张备份表是基于总的数据量的大小+Oracle数据库对单张表存储数据的支持。
思路2:Oracle数据库采用
分区表(物理磁盘上存储在不同的位置,逻辑上仍为一张表)
当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区。表进行分区后,逻辑上表仍然是一张完整的表,
只是将表中的数据在物理上存放到多个表空间(物理文件上),这样查询数据时,不至于每次都扫描整张表。
从应用程序的角度来看,分区后的表与非分区表完全相同,使用 SQL DML 命令访问分区后的表时,无需任何修改。
参考:  
使用分区表操作步骤:
1.创建多个表空间:(备注:ADC_BACK_1 、ADC_BACK_2、ADC_BACK_3、USERS 为表空间名称,datafile后面指定了表空间的物理磁盘存储路径)
create tablespace ADC_BACK_1 datafile 'D:\OracleBack\ADC1.dnf' size 500M;
create tablespace ADC_BACK_2 datafile 'D:\OracleBack\ADC2.dnf' size 500M;
create tablespace ADC_BACK_3 datafile 'D:\OracleBack\ADC3.dnf' size 500M;
create tablespace USERS datafile 'D:\OracleBack\ADC4.dnf' size 500M;
2.一次性在不同的表空间创建数据库表(同时指定表字段、数据存储到哪一表空间的判断标准)如下:

(备注:range()指定数据库表中的某一字段作为数据存储到不同表空间的判断标准)

(备注:此处在4个不同的表空间分别创建一张表,4张表的结构相同,以后会根据不同的时间产生的数据存储在不同的表空间的表中)
 
(备注:在最高的分区中,MAXVALUE被定义。MAXVALUE代表了一个不确定的值。这个值高于其它分区中的任何分区键的值,
也可以理解为高于任何分区中指定的VALUE LESS THEN的值,同时包括空值。)
3.以前的SQL查询语句不变,一样查询数据
(备注:查询数据时,不再全表扫面,只是根据条件扫描一个或多个表空间中的数据库表,所以查询性能会有很好的提升)
 
参考:https://www.2cto.com/database/201604/503199.html

 

事例:

create tablespace ADC_BACK_1 datafile 'F:\Oracle\tablespaces\ADC_BACK_1.dnf' size 100M autoextend on next 100m maxsize 20480m extent management local;

create tablespace ADC_BACK_2 datafile 'F:\Oracle\tablespaces\ADC_BACK_2.dnf' size 100M autoextend on next 100m maxsize 20480m extent management local;
create tablespace ADC_BACK_3 datafile 'F:\Oracle\tablespaces\ADC_BACK_3.dnf' size 100M autoextend on next 100m maxsize 20480m extent management local;
create tablespace ADC_BACK_4 datafile 'F:\Oracle\tablespaces\ADC_BACK_4.dnf' size 100M autoextend on next 100m maxsize 20480m extent management local;
create tablespace ADC_BACK_5 datafile 'F:\Oracle\tablespaces\ADC_BACK_5.dnf' size 100M autoextend on next 100m maxsize 20480m extent management local;

 

create table MON_PROCESS_RECORD_BACK(

INFOID VARCHAR2(36),
DIC_FLOWTYPE_ID VARCHAR2(36),
START_TIME DATE,
END_TIME DATE,
IS_SUCCESS CHAR(1),
ERROR_CODE VARCHAR2(2000),
DEL_FLAG CHAR(1),
ID VARCHAR2(36) PRIMARY KEY,
DEALWAY CHAR(1),
DETAIL VARCHAR2(4000),
DIC_EB_PLATFORM_ID VARCHAR2(36),
STATE VARCHAR2(100),
INSTRUCTION_ID VARCHAR2(36),
INSTRUCTION_NUM VARCHAR2(4),
EBI_INFO_CODE VARCHAR2(50),
IS_DISPLAY VARCHAR2(1)
)
partition by range(EBI_INFO_CODE)(
partition part_01 values less than('201608100000000000000') tablespace ADC_BACK_1,
partition part_02 values less than('201609100000000000000') tablespace ADC_BACK_2,
partition part_03 values less than('201610100000000000000') tablespace ADC_BACK_3,
partition part_04 values less than('201611100000000000000') tablespace ADC_BACK_4,
partition part_05 values less than('201612300000000000000') tablespace ADC_BACK_5,
partition part_06 values less than(maxvalue) tablespace USERS
);

 

转移数据:

insert into MON_PROCESS_RECORD_BACK(

INFOID,
DIC_FLOWTYPE_ID,
START_TIME,
END_TIME,
IS_SUCCESS,
ERROR_CODE,
DEL_FLAG,
ID,
DEALWAY,
DETAIL,
DIC_EB_PLATFORM_ID,
STATE,
INSTRUCTION_ID,
INSTRUCTION_NUM,
EBI_INFO_CODE,
IS_DISPLAY
)
select 
INFOID,
DIC_FLOWTYPE_ID,
START_TIME,
END_TIME,
IS_SUCCESS,
ERROR_CODE,
DEL_FLAG,
ID,
DEALWAY,
DETAIL,
DIC_EB_PLATFORM_ID,
STATE,
INSTRUCTION_ID,
INSTRUCTION_NUM,
EBI_INFO_CODE,
IS_DISPLAY
from MON_PROCESS_RECORD;

转载于:https://www.cnblogs.com/lcword/p/9562559.html

你可能感兴趣的文章
【AppScan心得】IBM Rational AppScan 无法记录登录序列
查看>>
[翻译] USING GIT IN XCODE [4] 在XCODE中使用GIT[4]
查看>>
简化通知中心的使用
查看>>
SpringMVC的@Validated校验注解使用方法
查看>>
Python之os模块
查看>>
IO—》Properties类&序列化流与反序列化流
查看>>
【蓝桥杯】PREV-21 回文数字
查看>>
html 简介
查看>>
python使用上下文对代码片段进行计时,非装饰器
查看>>
js中比较实用的函数用法
查看>>
安装预览版镜像后无法检测到预览版更新的解决方案
查看>>
【bzoj5099】[POI2018]Pionek 双指针法
查看>>
别让安全问题拖慢了 DevOps!
查看>>
JAR打包和运行
查看>>
session如何保存在专门的StateServer服务器中
查看>>
react展示数据
查看>>
测试计划
查看>>
idea设置自定义图片
查看>>
[高级]Android多线程任务优化1:探讨AsyncTask的缺陷
查看>>
选择器
查看>>