sqlldr direct参数小测试

Oracle海量数据迁移实战:SQLLDR命令行极速导入CSV文件 本文详细介绍了使用Oracle SQLLDR命令行工具高效导入海量CSV数据的实战技巧。通过直接路径加载、内存参数优化和并行处理等技术,显著提升数据迁移效率,适用于千万级甚至亿级数据场景。文章包含环境配置、控制文件编写、性能调优及生产环境问题解决方案,是DBA和开发人员必备的Oracle数据迁移指南。 阅读详情

首先建一表
 CREATE TABLE XEP.TEST
  (    ID NUMBER(*,0),                                              --主键
       NAME VARCHAR2(16) NOT NULL ENABLE, --非空
       AGE NUMBER(3,0),                                               --check
        CONSTRAINT CHECK_AGE CHECK (age>0),
        PRIMARY KEY (ID)
 USING INDEX PCTFREE 10 INITRANS 2 MAXTRANS 255
 STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
 PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT)
 TABLESPACE XEP_SPACE  ENABLE
  ) PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 NOCOMPRESS LOGGING
 STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
 PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT)
 TABLESPACE XEP_SPACE
 
 
SQL> desc xep.test
 名称                                      是否为空? 类型
 ----------------------------------------- -------- ----------------------------

 ID                                        NOT NULL NUMBER(38)
 NAME                                      NOT NULL VARCHAR2(16)
 AGE                                                NUMBER(3)
 
1.创建 控制文件 ctr.txt
Load Data
infile  data.txt
badfile badfile.txt
discardfile discardfile.txt
replace
into table test
FIELDS TERMINATED ","
(
 id,
 name,
 age
)

2.创建数据文件 data.txt
1,"test1",1
2,"test2",2
3,"test3",3
4,"test4",4
3,"test5",5
6,"test6",6
6,"test7",-1
6,"test8",0
9,"test9",9

3.执行loader命令 D:\document\xep\load>sqlldr xep/xiaoep control=ctr.txt  skip=2

SQL> select * from xep.test;

        ID NAME                    AGE
---------- ---------------- ----------
         3 "test3"                   3
         4 "test4"                   4
         6 "test6"                   6
         9 "test9"                   9


4.执行带direct参数的loader命令 D:\document\xep\load>sqlldr xep/xiaoep control=ctr.txt  skip=2 direct=y

SQL> select * from xep.test;

        ID NAME                    AGE
---------- ---------------- ----------
         3 "test3"                   3
         4 "test4"                   4
         3 "test5"                   5
         6 "test6"                   6
         6 "test7"                  -1
         6 "test8"                   0
         9 "test9"                   9

已选择7行。

普通load相当于insert 每一条都会检查约束,直接路径加载(带direct=y) 只检查主键与唯一约束  其它的不做检查 如果主键冲突 也会插入表中。
skip参数是跳过前几行。

再测一下触发器
1.创建一序列 create sequence test_seq increment by 1 start with 1 cache 15 nocycle

2.创建一新表记录用户插入数据的详细信息
create table test_audit(id number,insert_user varchar2(16),cmd varchar2(16),val varchar2(32));

3.创建触发器
create or replace trigger t_insert
  after insert or  delete or update on test  
  for each row

begin
    if inserting then
    insert into test_audit values(test_seq.nextval,user,'insert',:new.name);
   
    elsif updating then
      insert into test_audit values(test_seq.nextval,user,'update',:new.name ||'_'||:old.name);
    
    elsif deleting then
      insert into test_audit values(test_seq.nextval,user,'delete',:old.name);
    end if;
    
end;


4.执行loader命令 D:\document\xep\load>sqlldr xep/xiaoep control=ctr.txt  skip=2

SQL> select * from xep.test;

        ID NAME                    AGE
---------- ---------------- ----------
         3 "test3"                   3
         4 "test4"                   4
         6 "test6"                   6
         9 "test9"                   9
         
SQL> select * from xep.test_audit;

        ID INSERT_USER      CMD              VAL
---------- ---------------- ---------------- --------------------------------
         1 XEP              insert           "test3"
         2 XEP              insert           "test4"
         3 XEP              insert           "test6"
         4 XEP              insert           "test9"
         
SQL> truncate table xep.test;

5.执行loader命令(带direct=y)   D:\document\xep\load>sqlldr xep/xiaoep control=ctr.txt  direct=y     

SQL> select * from xep.test;

        ID NAME                    AGE
---------- ---------------- ----------
         1 "test1"                   1
         2 "test2"                   2
         3 "test3"                   3
         4 "test4"                   4
         3 "test5"                   5
         6 "test6"                   6
         6 "test7"                  -1
         6 "test8"                   0
         9 "test9"                   9

SQL> select * from xep.test_audit;

        ID INSERT_USER      CMD              VAL
---------- ---------------- ---------------- --------------------------------
         1 XEP              insert           "test3"
         2 XEP              insert           "test4"
         3 XEP              insert           "test6"
         4 XEP              insert           "test9"

          

常规路径加载                                                                       直接路径加载
 
使用 COMMIT 来使所做的更 改能永久保留                    使用数据保存
 

始终生成重做日志条目                                                       仅在特定条件下才生成重做 日志条目
 

执行所有的约束                                                                   仅执行主键约束、唯一性约束 和 NOT NULL 约束
 
触发 INSERT 触发器    不触发 INSERT 触发器              可以加载到集簇表中    无法加载到集簇表中
 

其他用户可以对表进行更改                                                其他用户不能对表进行更改


别再傻傻用DBeaver导大文件了!Oracle SQLLDR导入1.5亿条CSV的保姆级避坑指南 本文详细介绍了Oracle SQLLDR工具在导入1.5亿条CSV数据时的优化技巧和避坑指南。通过对比图形化工具DBeaver与SQLLDR的性能差异,揭示了直接路径加载的速度优势(快120倍以上)。文章提供了从环境准备、控制文件配置到性能调优的完整实战方案,特别针对电信行业数据特点给出了字符集处理、日期格式转换等专业建议,帮助DBA高效完成海量数据导入任务。 阅读详情

相关推荐

Oracle对百万条记录的数据sqlldr加载(超详细)

在实际工作中应用SQLLDR执行数据加载,多数情况是数据量已经达到了一定的级别,下面是我自己构建了100W条记录的场景,看看实际加载情况如何,已经如何进行加载优化。

奋斗的阿杰的博客 1585

sqlldr 直接路径加载direct=true的副作用

sqlldr 直接路径加载direct=true的副作用sqlldr帮助文件执行导入提升加载速度总结参考 接上篇文章sqlldr加载19c pdb最佳实践。最后提升加载速度的内容,其中有一项,是使用直接路径加载:direct=true。直接加载全部记录,提高速度。但是此方法有个副作用,就是会使索引失效。mos上面也有说明,根据文章Common Maintenance Commands That Cause Indexes to Become Unusable (Doc ID 165917.1)的描述: Si

fanzhuozhuo的博客 4602

sqlldr数据加载工具(sqlldr的介绍)

SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件(数据)迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)

Oracle 【直接加载(sqlldr direct=true)】全方位解析与性能优化[2]

3.比较direct方式使用并行和非并行选项的性能差异。 数据文件:leo_test.data   100000记录 控制文件:leo_test.ctl 日志文件:leo_test.log 串行直接加载sqlload : sqlldr userid=ls/ls control=leo_test.ctl data=leo_test.data log=leo_test.log direct=true ...

jianhai1229的博客 6321

海康威视门禁考勤设备数据对接实战:从被动推送到主动拉取

本文深入探讨了海康威视门禁考勤设备数据对接的两种核心方案:HTTP推送与SDK主动拉取。文章对比了两种方式的适用场景、技术实现与优缺点,为开发者提供了从设备配置、代码编写到工程化部署的完整实战指南,帮助读者根据项目规模、网络环境及数据稳定性要求,做出最合适的技术选型。

weixin_29284657的博客 673

Android Settings 设置Preference置灰显示

使Preference置灰显示,不能点击。先调用Preference的setEnabled(false),再调用setShouldDisableView(true); 如果使置灰项恢复正常可点击,可调用setEnabled(true)。

随风而动 1050

Oracle-工具之SQLLDR

Oracle工具之SQLLDR

UntifA的博客 6863

Comsol&Matlab 亥姆霍兹共振消声器传递损失理论解与仿真解

当外界噪声以共振频率进入共振器时,共振器内的空气质量发生周期性的振动,从而减少或消除噪声。当特定频率的声波进入共振器时,共振器的空气质量会发生周期性的振动,从而实现对该频率的噪声的减弱或消除。5. 反射和吸收:共振器的几何形状和容积还可以影响共振器内空气振动的反射和吸收。然而,对于不同频率的噪声,需要相应调整共振器的参数以匹配新的共振频率。3. 腔体内的空气振动:当特定频率的声波进入共振器时,共振器内的空气质量会发生振动。2. 声波进入共振器:外界的声波通过共振器的颈部进入共振器的封闭空腔。

声学黑洞仿真工作室 4580

oracle direct-load,sqlldr direct方式导致索引失效实测

目的:验证sqlload的direct方式绕过唯一索引,可能引发索引unusable。SQL> select * from v$version;BANNER--------------------------------------------------------------------------------Oracle Database 11g Enterprise Edition ...

weixin_28685483的博客 1215

解决RK3566 USB OTG模式识别问题:从原理图分析到otg_mode文件操作全解析

本文深入解析RK3566 USB OTG模式识别问题,从硬件原理图设计到Linux内核的otg_mode文件操作,提供全面的调试方案。针对USB_OTG0_ID引脚电路设计、电源管理关联及内核驱动交互等关键点,给出实战调试技巧和常见问题解决方案,帮助开发者高效解决USB OTG模式切换难题。

eee77的博客 866

基于PWM的汽车仪表步进电机微步驱动优化实践

本文深入探讨了基于PWM的微步驱动技术,用于优化汽车仪表步进电机的运行性能。通过将传统的分步驱动升级为PWM微步细分驱动,利用正弦/余弦查表法合成旋转磁场,有效消除了指针抖动与噪声,实现了指针的平滑、精准运动。文章以STM32和VID2905电机为例,提供了详细的硬件连接、代码实现及高级优化技巧,为提升汽车仪表体验提供了实用方案。

weixin_29169505的博客 514

oracle如何将csv导入mysql数据库_Oracle数据库导入csv文件(sqlldr命令行)

1.说明Oracle数据库导入csv文件,当csv文件较小时,可以使用数据库管理工具,比如DBevaer导入到数据库,当csv文件很大时,可以使用Oracle提供的sqlldr命令行工具,能够快速导入大量数据。在数据库之间进行数据迁移时,特别是不同类型的数据库,使用csv文件是一种很好的选择。2.sqlldr用法下面介绍sqlldr用法,有一个USER_INFO.csv文件,需要导入到数据库中US...

weixin_36373381的博客 708

Office系列完全干净卸载工具合集(最全)

使用 Microsoft Fix it 卸载 Microsoft Office 套件 一、Windows 7、Windows Vista或Windows XP下卸载Office 1.MicrosoftEasyFix50416 工具用来卸载office 2003 MicrosoftEasyFix50416_Office2003.msi 2.MicrosoftEasyFix50154 工具用来卸载office 2007 MicrosoftEasyFix50154_Office2007.msi 3.Microso

业精于勤,荒于嬉 3万+

SQLLDR简介 和 Oracle插入大量数据

SQLLOADER是ORACLE的数据加载工具,通常用来将操作系统文件(数据)迁移到ORACLE数据库中。SQLLOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。

dwoiauda的博客 4058

DFI协议时序

参数名称典型值应用场景关键影响tcmd_lat1-2个时钟周期命令与地址锁存同步地址错误风险tphy_wrlat1-2个时钟周期写操作响应速度写带宽与延迟2-3个时钟周期写操作端到端延迟系统吞吐量1-2个时钟周期连续写命令间隔信号干扰与资源冲突tphy_rdlat1-2个时钟周期读操作响应速度读带宽与延迟trddata_en由CL决定(如0.41 ns)读数据返回时间系统延迟10-20 ps写数据与命令对齐数据丢失风险<1 µs低功耗模式切换。

qq_43134430的博客 5105

几种在NCBI中查询获取目的基因序列的方法

几种在NCBI中查询获取目的基因序列的方法 在NCBI中,如何查询并下载获得某物种的某特定功能的基因序列,相信对于看到此篇的大部分同学来说都不陌生了。想到对于刚开始接触生信的同学们来说,也许尚不能很熟练地在NCBI中查询想要的基因序列,因此在这里简要作了一个总结,希望对初学生信的同学们有所帮助。 此篇博文源于此前有同学问我,提到他导师给他布置任务,查找相关的文献,看相关文献中都报道了哪些细菌物种能够产生聚羟基脂肪酸酯(polyhydroxyalkanoate ,PHA),参与合成该产物的基因都有哪些,然后在

qq_23435961的博客 1万+

SQLLDR直接加载几个参数的测试

最近以SQLLDR直接加载的参数进行了测试,总结如下:[@more@]比较好的一篇关于增强sqlldr性能的文章http://www.remote-dba.net/teas_rem_util18.htm1.几个文件的准备:cre...

ckomuo086028的博客 597

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

SQLLDR 简介

1. SQLLDR导入   1.1 简介  SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件(数据)迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。   2.2 语法和参数 语法: SQLLDR keyword=value [,keyword=value,..

longtimetoc的博客 4105

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

SQL*Loader总结sqlldr

由酸菜鱼记录,所有代码均经过测试.只是部分代码的效果在不同平台上会出现差异!有问题请:1#w1520.com[#替换成@],或者:提交建议 SQL*Loader总结 认识SQL*LoaderSQL*Loader体系结构一千零一十一个怎么办100万条记录的数据加载 本处使用的配置: Red hat Server 6.4 _ X64 [英文版] Oracle 11G R2 _X64[英文版] 认识SQL*Loader SQL*Loader是一个命令行下的操作工具,对应的操作系统命令是SQLLD...

sqlora的专栏 4268

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

[20140109]sqlldr使用direct=true加载数据的问题.txt

[20140109]sqlldr使用direct=true加载数据的问题.txt 昨天要同步更新一个数据库的信息,我仅仅负责取出数据给别人加载,我使用toad带的save菜单可以自动生产sqlldr的导入参数文件以及数据....

609

sqlldr 命令的参数bindsize readsize的作用

2core 4G 虚拟机上测试 调整sqlldr 命令的参数bindsize readsize: direct=TRUE,parallel=TRUE,multithreading=TRUE,bindsize=512000,readsize=1024000 1000万数据(20G的文本文件,每条记录2K): 导数 调整sqlldr 命令的参数bindsize readsize: di...

sandy_hmily的专栏 4948

Sqlldr性能优化总结

Usage: SQLLDR keyword=value [,keyword=value,...]   部分关键字:     userid -- ORACLE username/password    control -- 控制文件        log -- 记录的日志文件        bad -- 坏数据文件       data -- 数据文件    discard -- 丢

xiaomin1991222的专栏 536

一次sqlldr性能测试案例

$ sqlldr SQL*Loader: Release 10.2.0.1.0 - Production on Tue May 19 16:06:21 2009 Copyright (c) 1982, 2005, Oracle. All rights reserved. Usage: SQLLDR keyword=value [,keyword=value,...] V

lizhongren的专栏 907

Oracle Sqlldr 无错误异常退出

最近在实施一个oracle项目时,在测试oracle sqlldr数据装载时,根据机器性能调优参数如下 direct=true stremsize =1G,date_cache=1000,columnarrayrows=5000000,readsize=1G,multithreading=true,parallel=true 典型测试没有问题,但是在批量装载时,有10几张表会直接退出,日志里会在打印出direct = true后直接截断,sqlldr程序退出,echo $? linux...

beyondmch的博客 729
上一篇: SP2-1503错误及卸载oracle方法解决方法(win7)
下一篇: 删除冗余约束
sql_xeppp
博客等级 码龄18年 34粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值