oracle创造亿级别数据过程

Oracle中如何对超大规模数据(如超过2亿条)直接用SQL语句入库? 在实际生产环境下,有时需将超大规模数据(如超过2亿条)导入分区表,但因原表与目的分区表的字段不一致,且用Kettle等转换工具极易失败,而用insert into select t1,t2.. from tab的Oracle SQL方式直接执行将导致redo、undo日志暴增,使数据库容易假死。针对此问题,采用文中方法可完美解决,且对系统性能几乎无影响(不管是分区表还是普通堆表均可)。 立即下载

create table EMP
(
EMPNO NUMBER(8) PRIMARY KEY,
ENAME VARCHAR2(20),
MGR NUMBER(20),
HIREDATE DATE
);

create table che
(
id NUMBER(8) PRIMARY KEY,
name VARCHAR2(20),
HIREDATE DATE
);


 
declare
i integer;
begin
i := 1;
loop
insert into che (id,name,HIREDATE)
values
(i,
'苏F 00001',
SYSDATE);
i := i + 1;
exit when i > 200000;
end loop;
commit;
end;

 

 

 

 

 

create table datatemp
(
gmsfhm NUMBER(18) PRIMARY KEY,
name VARCHAR2(20),
sex VARCHAR2(20),
birthday VARCHAR2(20),
lxdh  VARCHAR2(20)
);

declare
i integer;
begin
i := 1;
loop
insert into datatemp (gmsfhm,name,sex,birthday,lxdh)
values
(320602+i,
'小拾',
'男',
'2019-07-25',
'14712345678');
i := i + 1;
exit when i > 500000;
end loop;
commit;
end;

create table house 
(
gmsfhm NUMBER(8) PRIMARY KEY,
name VARCHAR2(20),
FWMJ VARCHAR2(20),
address VARCHAR2(50),
lxdh  VARCHAR2(20)
);

declare
i integer;
begin
i := 1;
loop
insert into house (gmsfhm,name,FWMJ,address,lxdh)
values
(320602+i,
'小拾',
'98',
'北京市x区x小区',
'14712345678');
i := i + 1;
exit when i > 100000;
end loop;
commit;
end;


create table che
(
gmsfhm NUMBER(18) PRIMARY KEY,
name VARCHAR2(20),
chepai VARCHAR2(20),
color VARCHAR2(20),
lxdh VARCHAR2(20)
);

declare
i integer;
begin
i := 1;
loop
insert into che (gmsfhm,name,chepai,color,lxdh)
values
(320602+i,
'小拾',
'苏F0555A',
'黑色',
'14712345678');
i := i + 1;
exit when i > 500000;
end loop;
commit;
end;


 

亿级大数据实时分析之旅 亿级大数据实时分析之旅,小米公司大数据分析经验分享 立即下载

相关推荐

从零开始的BW(五) 外部系统供数之OData测试

5、激活添加的服务,如提示下图中的激活失败,根据生成URI在事务代码SICF目录中找到对应的服务,设置超时时间,设置完之后重新激活即可,详情可参考SAP note 1986626。如果刚才设置BY Odata的query在这没有显示,SE38执行程序EQ_RS_AUTOSETUP,选中需要生成服务的query,生成服务后再去添加服务。测试get方法,URI中默认的参数是?4、事务代码/IWFND/MAINT_SERVICE中添加服务,如果提示用户不再登陆,在事务代码前加上/O或者/N即可。

m0_61386064的博客 1108

特殊需求:oracle单表插入两亿条数据

业务场景:现在有个需求,模拟大数据量下系统的抗压能力,需要在表C构造两亿条数据。虽然官方建议单表两千万条数据最好,但是想看下系统在不借助其他中间件的情况下,直接进行表操作是否可行。 已有逻辑结构在批量插入非常慢,批量插入5万条数据需要5H左右(因为还有其他链接表,)。 数据场景:表A为主表,表示一个对象,表C是表A的一个属性表。例如表A有一条数据‘TEST001’,该数据有长、宽、高、温度、湿度五个属性,那么在表C中,就有5条数据。 ...

qq_18937429的博客 3298

PyTorch实战:手把手教你用QAT量化感知训练拯救模型精度(附避坑指南)

本文详细介绍了如何使用PyTorch进行QAT量化感知训练,以提升模型在边缘设备上的推理精度。通过核心原理讲解、实战代码示例和避坑指南,帮助开发者掌握从环境配置、模型训练到边缘部署的全流程,有效解决传统量化方法导致的精度损失问题。

c7d8e的博客 329

oracle一次插入多条数据

insert into 表名(字段1,字段2)  select '一','二' from dual          union all                                  select '三','四' from dual          union all                                  select '五','六' f

树上的小桥 的专栏 822

常用元器件使用方法3:电平转换芯片74LVC1T45的使用方法

介绍: 74LVC1T45是一个单位双向可控电平转换芯片。   芯片特性: 1、宽供给电压范围:1.65V到5.5V; 2、3.3V时,可输出24mA电流; 3、最大16uA电能损耗; 4、高噪音抑制;   型号:   引脚: VCC(A) 1 A端和DIR电源 GND 2 地 A 3 数据输入/输出 B 4 ...

snmplink的博客 1万+

VSCode PlantUML 插件超详细教程:从安装配置到实战绘图全流程

VSCode PlantUML 插件超详细教程:从安装配置到实战绘图全流程

weixin_69237381的博客 911

oracle大数据量操作

到底要多大的表空间才够用呢? 使用一个java的job调用sqlLoader导入txt文件中的数据到oracle9i中。 sqlLoader进行导入。 txt文件大小6G多,每行对应oracle表中的一条数据,共5列,大约有1亿多条不到2亿数据。 --------------------------------------------------------------------------...

zongxing 222

爬虫反爬:一文掌握 BotBrowser 的原理和使用(能绕过很多验证码的指纹浏览器)

BotBrowser是使用经过修改的Chromium内核(修改Chromium的C++源代码)的隐形浏览器,可靠地绕过Cloudflare、Shape、PerimeterX、Datadome、Akamai、Kasada、hCaptcha和reCAPTCHA。BotBrowser是一个跨平台的自动化工具,它重新定义了web自动化。专为爬虫、RPA(机器人流程自动化)和 Web 测试设计。与 Puppeteer/Selenium 不同,它通过无头模式(Headless)和API 级控制。

数据知道的博客 1万+

Oracle亿级数据查询处理(数据库分表、分区实战)

大数据量的查询,不仅查询速度非常慢,而且还会导致数据库经常宕机(刚接到这个项目时候,数据库经常宕机o(╯□╰)o)。那么,如何处理上亿级的数据量呢?如何从数据库经常宕机到上亿数据秒查?仅以此篇文章作为处理的总结。 数据背景: 下面是存放历史数据表的数据量,数据量确实很大,3亿多条。但这也仅仅是测试数据而已,因为客户端服务器上的数据可能远不止于此。 为什么说远不止于此呢?实际情况是这样的...

真正的大师,永远怀着一颗学徒的❤ 4万+

芯片ATE测试PAT(Part Average Testing)学习总结-20250916

文章摘要:零件平均测试(PAT)是半导体制造中基于统计学的质量控制方法,分为静态和动态两种类型。静态PAT通过预先设定的固定限值(每6-8批次更新)筛选异常芯片,计算采用稳健平均值和四分位间距。动态PAT则根据实时数据调整限值,能更精确识别异常而不误判合格芯片。两种方法均采用"均值±6倍标准差"的计算公式,但动态PAT具有更好的适应性和准确性。该方法通过统计分析提高了芯片产品的质量和可靠性。

歌颂苦难的行为是无耻的; 1190

华为OD面试八股真题 - 操作系统 - 1

华为OD技术面,操作系统相关八股真题提供详细解答,这篇博客主要涉及于进程和线程相关知识点

qq_45776114的博客 1641

oracle数据加工,oracle创造亿级别数据过程

create table EMP(EMPNO NUMBER(8) PRIMARY KEY,ENAME VARCHAR2(20),MGR NUMBER(20),HIREDATE DATE);create table che(id NUMBER(8) PRIMARY KEY,name VARCHAR2(20),HIREDATE DATE);declarei integer;begini := 1;lo...

weixin_36213143的博客 277

IP-Guard分类管理详解

大家都知道在配置IPGUARD策略前需要做分类库进行设置和分类。 1、应用程序:可以分类,例如上班时间只能用OFFICE和WPS,记事本等办公软件,可以在分类里设置一个类 ;办公软件,在未分类里找到OFFICE,WPS等拖入心建的分类里就可以在配置策略里调用。 2、网站分类也不一样,可以按照自己方式自定义。也可以导入厂家已经收集到的网站分类。 3、邮箱分类:可以提前定义好一个或...

IP-Guard专栏 589

oracle实例创造,Oracle 实例创建脚本

遥想刚入职时,一台服务器就挂了,所以就是在“危难”中有机会学习。在夜深人静时,我想去回忆一下Oracle实例的创建。一种方法,DBCA,图形界面,但是需要依赖xming或xmanager这类软件;另一种方法就是脚本创建Oracle数据库实例。第一种方法简单,易上手,但是对初学者,不能学习到更多数据库知识;第二种方法用脚本就能更了然数据库的各种文件以及参数。本文只介绍脚本创建Oracle实例。记得2...

weixin_34276402的博客 279

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

oracle 行级死锁_解决Oracle数据库死锁

介绍本文我们尝试总结在多个用户并发情况下,如何识别和解决删除操作期间发生的死锁问题,在开始之前,我们先简单描述一下什么是死锁以及什么东西会导致死锁。死锁在任何数据库中发生死锁都是不愉快的,即使是在一个特殊的情况下发生也是如此,它们会减小应用程序的接受程度(ACCEPTANCE),因此避免并正确解释死锁是非常重要的。当两个或更多用户相互等待锁定的数据时就会发生死锁,发生死锁时,这些用户被卡住不能继续...

weixin_30368405的博客 987

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

oracle游标能存储多少数据,Oracle数据库之存储过程与游标

一组为了完成特定功能的SQL语句集,经编译后存储在数据库中,用户通过指定存储过程的名字并给出参数,来执行它。在大型数据库中,存储过程和触发器具有重要的作用。无论是存储过程还是触发器,都是SQL语句和流程控制语句的集合。存储过程的优点:1、存储过程只在创造时进行编译,以后每次执行存储过程都不需要重新编译,一般的SQL语句执行一次就要编译一次,所以使用存储过程可以提高数据库执行速度。2、当对数据库进行...

weixin_30693337的博客 1136

解决Oracle数据库死锁

解决Oracle数据库死锁   介绍   本文我们尝试总结在多个用户并发情况下,如何识别和解决删除操作期间发生的死锁问题,在开始之前,我们先简单描述一下什么是死锁以及什么东西会导致死锁。   死锁   在任何数据库中发生死锁都是不愉快的,即使是在一个特殊的情况下发生也是如此,它们会减小应用程序的接受程度(ACCEPTANCE),因此避免并正确解释死锁是非常重要的。   当两个或...

iteye_13138的博客 337

oracle怎么进去数据库,oracle数据库入门怎么入?

oracle数据库入门学习是一个重复的过程,理论和时间交替来完成,不要看书看不明白非要看明白,到机器上试一下就明白了;不要机器上反复弄不通的东西还弄,懂得向书上和旁边的人求助。一、定位oracle分两大块,一块是开发,一块是管理。开发主要是写写存储过程、触发器什么的,还有就是用Oracle的Develop工具做form。有点类似于程序员,需要有较强的逻辑思维和创造能力,比较辛苦,是青春饭;管理则需...

weixin_29547309的博客 1196

mysql补丁如何安装_数据库周刊45丨易鲸捷4.2亿订单创记录;10月Oracle补丁发布;SequoiaDBv5.0发布...

摘要:墨天轮数据库周刊第45期发布啦,每周1次推送本周数据库相关热门资讯、精选文章、干货文档。本周分享 易鲸捷4.2亿订单创记录;10月Oracle补丁发布;巨杉SequoiaDB v5.0发布;MySQL卡死案例;GBase自动备份脚本;Oracle性能调优笔记;PG命令速查表……热门资讯1、国产数据库的里程碑式新突破:贵阳银行核心系统4.2亿订单采购易鲸捷【摘要】2020年10月19日,贵阳银...

weixin_39966765的博客 123

有必要使用 Oracle 向量数据库吗?

回到标题问题:是否有必要使用 Oracle 向量数据库?这实际还要取决于你的具体应用需求。客观来讲,Oracle 23ai 及其向量数据库功能在企业级应用中有一定优势,特别是在与现有 Oracle 生态整合时。以下是几个考虑点:✅ 适用 Oracle 向量数据库的场景:后面笔者工作需要,将测试下Oracle数据库的Vector能力,也会不定期分享。在此之前,肯定会有不太熟悉Oracle发展的小伙伴会困惑,怎么感觉Oracle是老牌的关系型数据库,咋啥时候成了向量数据库?答案是,Oracle是多模(Multi

xuxian的博客 1474

如火如荼的国产数据库,能否替换Oracle数据库?

一、蓬勃发展的国产数据库 2020年5月20日,蚂蚁金服100%自主研发的分布式关系数据库OceanBase,以7.07亿(707,351,007)tpmC的在线事务处理性能,打破了OceanBase自己在2019年10月创造的6088万(60,880,800)tpmC的TPC-C世界纪录。 榜单上第二名是Oracle,成绩是30249688tpmC。 这几年,国产数据库的进步也是有目共睹的,国产数据库和传统数据库厂商之间的差距在逐渐缩小,某些层面甚至有赶超之势。纵观这几年国产数据库的发展模式分.

m0_38048955的博客 6037

oracle数据库的相关认证,全新Oracle数据库认证认证指南

原标题:全新Oracle数据库认证认证指南 关注我们 除了数据库管理员之外,Oracle数据库认证和培训学习路径还能够帮助许多新的职业角色走向成功。如果您选择数据库管理员开始您的职业生涯,那么您面对的将是巨大的责任和众多的选择。GoCertify近期发表的一篇文章详细分析了Oracle Database 12c 认证和培训为什么能够在当前的就业市场中为越来越多炙手可热的新职业创造有利条件。作为一名...

weixin_40004212的博客 687

厉害了,蚂蚁金服!创造了中国自己的数据库OceanBase

摘要: 两万字长文带你了解关于OceanBase的一切!2008年,王坚从微软亚洲研究院常务副院长的位置上离职后,于当年9月加入了阿里巴巴集团担任首席架构师一职,负责集团技术架构以及基础技术平台建设。加入阿里没多久后,王坚就提出了“去IOE”的想法,即摆脱过去IT系统中对IBM小型机、Oracle数据库以及EMC存储的过度依赖。2009年开始,阿里举全公司之力投入到云计算的研发和使用中,这可视为取...

阿里云云栖号 1965

oce专项认证 oracle_获得Oracle认证对拓展职业前景的影响

获得Oracle认证对拓展职业前景的影响在与Oracle内容开发人员John Brooks最近的一次谈话中,他提到了Oracle认证的重要性话题。John在处理IT认证方面拥有丰富的经验,我们认为他的见解对我们的读者来说很有帮助,也希望您在阅读后也能抱有同样的看法。知识就是力量通过考试和考试成绩固然很重要,但您在学习过程中所掌握的知识才是您职业成功的坚实基础。在备考过程中,获得的知识和经验才是您真...

weixin_39838829的博客 143

Oracle RAC 和 Oracle RAC One Node 的区别

Oracle Real Application Clusters One Node 是 Oracle 11g R2一个新选件。RAC One Node可以创建一种特殊类型的 RAC 数据库:一个节点上只运行一个实例。如果某个节点发生故障,那么可以将另一个实例安排到集群中的其他节点上以继续处理。在某种程度上而言,RAC One Node是一个完整的 RAC 数据库,但是由于只有一个实例运行,不存在跨实例通信,因此可能感受不到由此产生的性能问题。但这并不意味着另一个处于被动状态的“节点”成了浪费的资源。

Ruishine的博客 910

oracle死锁

解决Oracle数据库死锁   介绍   本文我们尝试总结在多个用户并发情况下,如何识别和解决删除操作期间发生的死锁问题,在开始之前,我们先简单描述一下什么是死锁以及什么东西会导致死锁。   死锁   在任何数据库中发生死锁都是不愉快的,即使是在一个特殊的情况下发生也是如此,它们会减小应用程序的接受程度(ACCEPTANCE),因此避免并正确解释死锁是非常重要的。   当两个或更多用户相...

jzj61102611的专栏 275
上一篇: 千万数据线程转储
下一篇: CentOS安装mysql
SmallTenMr
博客等级 码龄10年 211粉丝 84原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值