以前的一次oracle数据库大数据量数据的生成方法(自身经历原创)

掌握数据库连接技术:SQL、Oracle、MySQL深入解析 数据库连接指的是应用程序与数据库服务器之间建立的一种通信机制,使得数据能够在一个系统到另一个系统之间传输。有效的数据库连接不仅保证了数据的安全性和一致性,而且对于提高应用程序的性能和可靠性也起到了关键作用。结构化查询语言(SQL)是数据库的核心。自20世纪70年代IBM开发的SEQUEL开始,SQL经历了不断的标准化过程。1986年,SQL成为美国国家标准协会(ANSI)标准,随后成为国际标准化组织(ISO)标准。 阅读详情

一次和几个同事要做一个test,需要数据量在6000万条数据左右,先用存储过程生成数据结果在开始时候还可以,后来几乎1分钟几分钟一条记录,而且最重要的是存储过程中忘记写commit;结果数据达到1G后回滚段溢出,数据库崩溃,重新启动后还是老样子到后来很慢。

后来采用insert select的方法,确实很快。

相关方法如下:

1。

spool task1.log

create table cas_smartcard
(
  ic_no        char(10) ,
  ic_status    number(1),
  stock_date   date,
  used_date    date,
  group_id     number(6),
  USER_INDEX     number(3),
  area_id      number(5),
  ic_id        varchar2(12),
  primary key(ic_no)
)storage (initial 120M next 12M pctincrease 0);

--create by runnerunning@163.com

alter table cas_smartcard disable primary key;

truncate table cas_smartcard;

Exec Init_data_IC('20040601',1,0,300031);
Exec Init_data_IC('20040701',2,1172,300031);
Exec Init_data_IC('20040801',3,2344,300031);
Exec Init_data_IC('20040901',4,3516,300031);
Exec Init_data_IC('20041001',5,4688,300031);
Exec Init_data_IC('20041101',6,5860,300031);
Exec Init_data_IC('20041201',7,7032,300031);
Exec Init_data_IC('20050101',10,8204,300031);
Exec Init_data_IC('20050201',100,9376,300031);
Exec Init_data_IC('20040821',1,10548,299711);

--create by runnerunning@163.com

create index idx_smartcard_ic_no on cas_smartcard(ic_no)
tablespace indx
storage (initial 40M next 4M pctincrease 0 );

spool off;

2。

spool task2.log

drop table cas_update_auth;

--create by runnerunning@163.com

create table cas_update_auth parallel as
select  ic_no ic_no,0 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,1 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,2 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,3 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,4 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,5 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,6 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,7 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,8 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,9 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,10 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,11 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,12 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,13 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,14 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,15 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,16 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,17 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,18 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard
union all
select  ic_no ic_no,19 object_id,stock_date auth_start,stock_date+60 auth_end,
  1  auth_oper,sysdate oper_date,1 object_type,1 pre_auth
From cas_smartcard;

create index idx_update_auth on cas_update_auth(ic_no,object_id)
tablespace indx
storage (initial 400M next 40M pctincrease 0 );

drop table cas_auth;

--create by runnerunning@163.com

create table cas_auth parallel as
select ic_no, object_id ,
   auth_start , auth_end ,
   oper_date , object_type,
   pre_auth
from cas_update_auth;

create index idx_auth on cas_auth(ic_no,object_id)
tablespace indx
storage (initial 400M next 40M pctincrease 0 );

spool off;

生成数据并导入CA数据
任务:1.生成CAS_SMARTCARD表(共300万记录)
      2.生成CAS_AUTH与CAS_UPDATE_AUTH表(各6000万记录)

--create by runnerunning@163.com

解决办法:
   一.使用过程生成CAS_SMARTCARD表记录,再使用过程生成CAS_AUTH与CAS_UPDATE_AUTH表记录
   前提条件:无
   速度:慢,经测试4分钟生成20万条记录,生成一个大表需20小时
   --create by runnerunning@163.com
   二.使用过程生成CAS_SMARTCARD表,再通过创建CAS_AUTH与CAS_UPDATE_AUTH表(同时生成记录)
   前提条件:两个大表与CAS_SMARTCARD表有关联
   速度:快,经测试4分钟生成5100万条记录,生成一个大表需15分钟
   不足:容易产生空间碎片

具体执行:
   1.创建CAS_SMARTCARD空表,并运行过程生成CAS_SMARTCARD表记录。见脚本task1.sql;
   2.创建CAS_UPDATE_AUTH表同时生成记录.并创建索引。见脚本task2.sql;
   3.创建CAS_AUTH表同时生成记录.并创建索引。见上脚本task2.sql;

注意事项:
   1.创建大表的索引,需要大TEMP
   2.生成大批量数据时,要注意提交记录。同时可以设置为不进行日志记录。
   3.注意计算数据存储空间。如CAS_SMARTCARD表需156M,CAS_UPDATE_AUTH表需3.2G.
      生成CAS_UPDATE_AUTH表的索引,占用索引空间需1.52G,临时空间需1.6G

 

--create by runnerunning@163.com

 

 

 

 

 

Linux系统上Oracle数据库安装与配置 本文还有配套的精品资源,点击获取 简介:安装Oracle数据库是一项复杂但关键的任务,尤其是在企业级应用中。本简介详细说明了在Linux上安装和配置Oracle数据库的全过程,包括系统要求、用户权限设置、必需的程序包安装、版本选择、实例与监听配置、安全设置、性能调优、备份与恢复策略、以及数据库的维护和更新。安装过程将帮助用户设置高性能、高可用性的企业级Oracle数据库系统... 阅读详情

相关推荐

Oracle 11g数据库管理技术参考文档完整指南

Oracle 11g作为Oracle数据库的重要版本之一,在IT行业中扮演着举足轻重的角色。对于数据库技术的开发者和使用者而言,了解Oracle 11g不仅是一项基础技能,更是深入挖掘数据价值的必经之路。

weixin_33072399的博客 854

在Oracle中十分钟内创建一张千万级别的表

如何在短时间内,在Oracle中创建一张千万级别的大表呢?作者提出了自己的做法。

一念非凡 965

Oracle大数据批量导出工具

在Oracle数据库上导出上千万上亿数据的工具 cmd 到本目录 然后执行如下命令: ->sqluldr2.exe user=用户名/密码@数据库 query="查询语句" table=表名 head=yes FILE=存放路径 例如:sqluldr2.exe user=u/pass@db query="select * from u.tablename" table=tablename head=yes FILE=d:\inf.csv

Oracle快速创建百万数据

create table myTestTable as select rownum as id, to_char(sysdate + rownum/24/3600, 'yyyy-mm-dd hh24:mi:ss') as inc_datetime, trunc(dbms_random.value(0, 100)) as random_i...

fengbird的博客 2071

Oracle大数据量数据生成器

Oracle大数据量数据生成器Data_Generator的使用(含近似随机date数据生成

Oracle大数据量数据导入导出示例

很不错的Oracle大数据量数据导入导出示例

Oracle 大数据量导入导出

1. 通过dmp 导入导出,这种情况一般需要注意用户的命名空间 2. 通过sqlldr实现 a.新建导入控制文件 input.ctl Load data Characterset UTF8 Infile 'H:\POI\baidu.txt' Append into table tbl_poi_baidu fields terminated by "," Optionally enclosed by '""' Trailing nullcols (POI_NAME,CLASS_ALL,ADDR,PHO

kunfd的博客 5349

plsql大数据量导出工具

oracle百(千)万级表数据导出工具,用于Oracle数据库导出大数据量表 ,保存格式如csv

文件上传时快速生成1G、10G大小的空文件

dd if=/dev/zero of= bs=<一次复制的大小> count=<复制的次数>fsutil file createnew <文件大小单位字节>of:fileName为文件名称,例如test.txt;本文是由于公司测试人员测试文件上传时,bs:设置一次复制的大小,例如1M;count:设置复制次数,例如50;* 创建固定大小的文件第一种方法。* 创建固定大小的文件第二种方法。问我该如何创建指定大小的大文件。比如1G、10G等大小的文件。2.windows系统。2.windows系统。

liangghoney的博客 1866

MATLAB 论文复现——基于虚拟储能的电动汽车充放电调度策略及激励评价

文章基于虚拟储能聚合体仿真模型优化电动汽车充放电调度,并采用复合权重评价电动汽车的充电激励。根据电动汽车灵活性和系统稳定性衡量其贡献大小,并通过模糊推理系统模拟用户的充电意愿,实现对电动汽车充电的引导和优化。[1]陈朔,胡昊,方慧敏,等.基于虚拟储能的电动汽车充放电调度策略及激励评价[J/OL].系统仿真学报,1-12[2024-07-24].https://doi.org/10.16182/j.issn1004731x.joss.23-1316.基于虚拟储能的电动汽车充放电调度策略及激励评价。

sjr1478的博客 366

波束管理 Beam Management

Beam Management in 5G NR   波束管理,是5G NR中基于信道质量来动态选择每个UE和gNB之间以什么方向和频率的波束beam来进行通信。   背景   5G NR(New Radio)支持非常高的数据速率和更低的延迟。5G NR支持FR1和FR2频段,FR1为亚6 GHz(450至6000 MHz);FR2为毫米波段(24.25 GHz至52.6 GHz)。   由于毫米波频带使用非常高的频率,因此会导致传播损耗和其他损耗。为了补偿损失,在这种频率下定向通信是必不可少的。

最忆是江南的博客 5828

db2 迁移 oracle的一次经历

最近朋友给了个活,将系统的db2转成Oracle,不大也不小,但之前没做过。。 具体情况是,表有900多张,存储过程70多,视图130多,函数和其他若干。。。。。。。。至于需要一直的数据量,我只知道要全量,具体多大。。。。百万条应该有吧。 那咱直接就向度娘伸手了。。。。。。度娘是伟大的。。。用她那甘甜的...一直哺育着我们。。 网上各种db2转oracle的做法看的眼花缭乱。。

Java_gjyw的专栏 4655

HOPE:基于强化学习的混合策略路径规划器,适用于多样化停车场景

本文提出了一种混合策略路径规划器(HOPE),用于解决自动停车中的路径规划问题。HOPE结合了强化学习(RL)和Reeds-Shepp(RS)曲线,通过动作掩码机制引导RL智能体的探索,并利用Transformer融合环境感知信息与掩码。该方法在多样且复杂的停车场景中实现了超过97%的成功率,并通过真实实验验证了其泛化能力。此外,本文还提出了基于空间与障碍物分布的停车场景难度分级标准,进一步提升了训练与评估的效率。实验结果表明,HOPE在规划成功率和跨场景泛化能力上均优于传统的基于规则算法和朴素强化学习方法

weixin_42783201的博客 1466

oracle大数据量更新引发的死锁问题解决方法及oracle分区和存储过程的思考

前言 前几天上午在对数据库的一张表进行操作的时候,由于这张表是按照时间的一张统计表,正好到那天没有测试数据了,于是我想将表中所有的时间,统一更新到后一个月,于是对80w条数据的更新开始了。整个过程曲折的一批。同时学到了很多知识,在此进行记录。希望对大家有帮助。 首先是大批量更新,由于数据已经进行了分区,开始对分区进行分析,然后大批量操作死锁,对死锁的解决,最后存储过程来解决数据的大批量插入。 曲折的过程开始 由于测试数据到21号就没了,21号一上去,发现开发的功能,都没有数据了,图表也都空了。查询原

经典鸡翅 2071

避坑指南:AUTOSAR FlashDriver操作DFlash模拟EEPROM时,你最容易忽略的5个细节

本文深入探讨了AUTOSAR FlashDriver在DFlash模拟EEPROM操作中最容易被忽视的五大细节问题,包括地址合法性检查、操作时序控制、并发访问冲突、电源稳定性管理和寿命管理。通过实际项目案例和工程化解决方案,帮助开发者避免常见陷阱,提升汽车电子控制单元(ECU)的可靠性和稳定性。

weixin_42741930的博客 250

LoRa无线通信技术介绍(六)SX127X芯片收发程序讲解

接收LORA芯片SX127X的收发程序。

DT程序员的博客 1753

我的oracle备份经历

我的oracle备份经历 做了一个系统,用了好几年,数据量以每年100多G的速度增长,现在快有1T了,备份速度慢的问题逐渐暴露出来。基于系统的特点及数据量,系统采用备份所有数据的方式,不采用增量备份。 系统原来设计备份时并没有考虑到数据量大的问题,采用是exp/imp方式备份,1T数据备份需要2天左右才可以完成,时间太长。后来考虑到导出优化,对exp的buffer、direct等参数进行修改,但效...

lvcha791007的博客 1349

【unity小技巧】新输入系统InputSystem游戏运行中改键重新绑定控制按键(最全最完美解决方案)

在游戏开发中,控制输入是至关重要的一环。Unity的新输入系统(Input System)为开发者提供了强大的工具来管理和处理用户输入,不仅支持各种平台上的多种输入设备,还能轻松处理复杂的输入操作和映射。本文将深入探讨如何使用Unity的新输入系统重新绑定控制按键,为开发者提供一套全面且完善的解决方案。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 7360

oracle 数据库创建表

好好好好久没更新了,最近真是堕落了,做的都是小菜鸟做的东西,都没得写,但是最近数据库突然从mysql换到oracle,哈哈哈哈哈,还真是挺复杂的 1、首先建表 fund 是表名称 其他的是字段名称 create table fund( id number(11) primary key,/*id 主键*/ name varchar2(100),/*...

weixin_30919919的博客 281

Python学习第1天:初识Python

Python 作为目前最流行的编程语言之一,凭借其简洁优雅的语法和强大的生态系统,成为了无数开发者的首选。本系列文章将带你从零基础入门,逐步掌握 Python 编程的核心技能。今天我们先来认识 Python,并安装好开发环境。Python(英式发音:/ˈpaɪθən/;美式发音:/ˈpaɪθɑːn/)是由荷兰人吉多·范罗苏姆(Guido von Rossum)发明的一种编程语言,是目前世界上最受欢迎和拥有最多用户的编程语言。

tigerhhzz的博客 436

C语言实现惯导更新算法(机械编排)

四元数可用于描述刚体转动或姿态变换,与方向余弦阵相比,表达简洁。四元数是一个包含四个元素的列向量,列向量的第一个元素表示刚体围绕旋转轴转过的角度大小,其余3个元素代表了旋转轴的方向。

十八与她的博客 1730

大数据量高速处理,GBase 8a性能获认可

文 |陈花平 福建农信之前行内绝大部分系统使用的都是Oracle数据库,随着业务发展,数据量一直增长,我们数据条线参考农业银行的案例,将数据仓库逐步从Oracle过渡到GBase数据库,批量处理性能有了较大提升,在GBase官网中也可以查到此案例。去年疫情期间我负责的一个系统计划进行GBase 8a MPP Cluster数据库建设,将数据加工处理部分从Oracle迁移到GBase,出于项目建设需要,我报名了GBase 8a V86版本的培训课程并通过了认证考试。随着项目的推进,对GBase...

weixin_47390342的博客 538

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

oracle数据库为什么这么大

oracle 平行服务器通过使一组结点共享同一簇中的工作来扩展windownt的能力,提供高可用性和高伸缩性的簇的解决方案。db2把数据库管理扩充到了并行的、多节点的环境. 数据库分区是数据库的一部分,包含自己的数据、索引、配置文件、和事务日 志。db2在企业级的应用最为广泛,在全球的500家最大的企业中,几乎85%以上用db2数据库服务器,而国内到97年约占5%.sQL server 只能在windows 上运行,没有丝毫的开放性,操作系统的系统的稳定对数据库是十分重要的。

xiaoweids的博客 335

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

从 MySQL 到 Oracle 再到全面 TiDB ,云盛海宏的数据库架构实践

本文介绍了云海零售系统的数据库架构演进,探讨了数据库设计在零售业业务发展中的重要性。文章由 InfoQ 主编赵钰莹撰写,与云盛海宏首席架构师洪亮共同探讨了云海零售系统整体架构从 MySQL 到原生分布式变迁的思路和诸多思考。

TiDB_PingCAP 的博客 534

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

SAP DB02里写原生SQL取数,比SE16N导表再合并Excel快多了!

本文详细介绍了在SAP DB02中使用原生SQL进行高效数据查询的方法,相比传统的SE16N导出和Excel合并处理,原生SQL方案能显著提升处理速度和准确性。通过实际案例和性能优化技巧,帮助用户快速掌握跨表查询、结果导出及高级SQL应用,适用于销售订单、交货单等复杂业务场景。

weixin_30693683的博客 319
上一篇: Sybase powerbuilder pb8--pb10中使用jdbc来做数据源的发布方法
下一篇: weblogic程序移植到jboss上的一个问题解决方法,j2ee,原创
runnerrunning
博客等级 码龄25年 5粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值