使用SQLLDR导入日志

最新推荐文章于 2022-12-30 19:29:17 发布

原创

最新推荐文章于 2022-12-30 19:29:17 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Oracle #Linux #.net #JSP #Bash

本文详细介绍了如何使用SQLLDR导入Oracle数据库的日志数据，强调了在使用序列时不能添加DIRECT=TRUE选项。同时，分享了如何创建定时任务通过shell脚本来执行导入，并提醒了权限设置和环境变量配置的重要性。在遇到数据导入异常，如字段长度超过默认限制时，需在CTL文件中指定字段长度。


Load data               --加载数据
append into table TEST  --数据表TEST
fields terminated by ':' --每行日志以“:”分隔
trailing nullcols
(----下面为表中属性
DNAME  "nvl(:DNAME,'-')", --如果DNAME为null，则插入默认值“-”
MENO,
ID "SEQ_TEST.nextval" --调用序列
)

在这里需要注意：如果要使用序列，就不能加DIRECT=TRUE

执行命令：
sqlldr userid=帐号/密码@SID control=f:\test.ctl data=f:\test.log

参考链接：
http://hi.baidu.com/danghj/blog/item/393dca1baf79faddad6e75dd.html
http://topic.youkuaiyun.com/u/20090901/16/6f47eca3-169b-4ecc-9e6c-063055d9a392.html
http://wxy0327.itpub.net/post/16888/96826
http://chinapkw.iteye.com/blog/568948

========================================================20101119补充
如何定时使用shell导入数据
vi import_data.sh
内容：

. /home/oracle/.bash_profile 
lastLogDate=`date -d "-1 minute" +%Y%m%d.%H.%M`
/data/oracle/10.2.0.1/bin/sqlldr userid=webtrace/webtrace@webtra

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_13038

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

编写shell脚本（awk）分析sqlldr入库日志

qq_39866521的博客

04-15

969

需求对于使用sqlldr入库异常需要手动处理，由于数据量较大，错误日志会记录每一条数据入库失败的原因，所以直接查看日志，对于整体入库异常分析不够全面，所以编写脚本分析日志。案列：表prod_offer_merger_relation 数据文件数据总数：9653 入库数：9134 入库失败数：519 账期：20190325 步骤 1查看日志 wc -l INSER...

简单介绍ORACLE数据库使用SQLLDR导入导出数据

sdust_k的专栏

07-27

5903

因工作需要，初次接触SQLLDR，要求使用其导入导出大批量的文本数据，经反复查阅资料和研究后，发现该工具对.txt，.xml，.csv等格式的文件均可使用，适用于大批量数据的导入和导出需求。简单总结了一下导入导出的流程，SQLLDR功能很强大，若想详细研究，请查阅其他资料；下载sqlldr2.exe，适用于windows平台，将其放入$ORACLE_HOME/bin目录下即可； 1、导...

1 条评论您还未登录，请先登录后发表或查看评论

oracle-sqlldr

weixin_42682872的博客

12-30

1778

转载：原文链接：https://blog.csdn.net/a545812327/article/details/102666185。skip_index_maintenance FALSE 没有维护索引, 将受到影响的索引标记为无用。skip_unusable_indexes FALSE 不允许/允许使用无用的索引或索引分区。rows 常规：64 默认路径：全部常规路径绑定数组中或直接路径保存数据间的行数。load 全部要加载的逻辑记录的数目。

mysql导入数据库日志_导入日志文件到mysql数据库表

weixin_36376992的博客

01-21

712

#!/bin/bash#****************************************************************************#***将/usr/local/data/目录下每天的日志,导入数据库#***导入某一天数据: ./load2mysql.sh 20140101#***导入某一段时间数据: ./load2mysql.sh 20140101 ...

解析oracle sqllder日志,sqlloader 参数

weixin_35033679的博客

04-03

1139

SQL*Loader版本: Release 10.2.0.2.0 SQL*Loader使用说明 4/28 2. sqlldr结构 sqlldr主要由sqlldr本身命令参数装载控制文件装载bad文件装载log文件装载数据文件discard文件这几部分组成。通过sqlldr的装载可以实现对数据做如......各个参数属性 load data infile '/home/oracle/...

导入日志异常

weixin_30551963的博客

07-26

239

异常信息: SLF4J: No SLF4J providers were found.SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.html#noProviders for further details.Exception in thread ...

windowns下利用bat命令+oracle的sqlldr功能导入数据

10-20

Oracle的SQL*Loader（简称SQLLDR）工具就是这样一个强大的数据加载器，它能快速高效地将数据从外部文件批量导入到数据库中。结合批处理（BAT）脚本，我们可以自动化这个过程，提高工作效率。下面我们将详细探讨如何...

oracle sqlldr多文件批量导入

04-01

- **错误处理**：设置SQL*Loader的错误日志和限制，以便处理导入过程中遇到的问题，如坏记录、数据类型不匹配等。 - **性能优化**：使用绑定变量、直方图加载、大块读取等技术提升加载速度。 - **事务管理**：根据...

oracle通过sqlldr导入文本数据

DG_gang的博客

08-02

378

oracle通过sqlldr导入文本数据执行命令：复制代码 sqlldr userid=epay/epay control=/tmp/test.ctl log=/tmp/test.log data=/tmp/test.csv rows=10 命令参数： userid – Oracle 的 username/password[@servicename] control – 控制文件，可能包含表的...

sqlldr的用法

金溪的博客

05-16

5232

在Oracle数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：（1）A表的记录导出为一条条分隔开的insert语句，然后执行插入到B表中。这种方法在记录多时是个噩梦，需要三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。（2）建立数据库间的dblink，然后用create table B as select * from A@dblink where ....

sqlloader 导入数据

weixin_44090237的博客

11-29

3913

1、提取日志,过滤出sqlldr的日志导入本地，（多个sqlldr可以先合并成一个文件），再替换掉多余的字符串，验证去重再导出sql 2、上传压缩好的sqllr数据日志文件到服务器 3、解压上传的sqllr数据压缩包 unzip sqlldrlog202110251554.zip 4、执行bash环境变量 #!/bin/bash PATH=$PATH:$HOME/.local/bin:$HOME/bin export PATH ORACLE_BASE=/u01/app/oracle export ORAC

批量导入及日志下载

weixin_48215380的博客

12-28

568

新需求新需求，要求模板下载以及批量导入，日志下载，以及对表格的单元格进行样式追加先看效果，两个按钮还是按照步骤走，如果走不通请私信我批量导入的按钮事件走起(套用了element的el-table组件) <el-upload class="upload-demo" action="#" :file-list="fileList" :auto-uplo.

如何使用SqlLoader导入数据

weixin_37343255的博客

12-06

5037

Oracle 使用sqlloader导入数据非常方便,下面是我的导入步骤：第一步，检查机器安装了sqlldr.exe没？ 2、建一张表 CREATE TABLE student1 ( sname varchar (20), sage INTEGER, semall varchar (20), sphone VARCHAR (20), saddress varchar (20) ) 3、编写要...

sqlldr报错数据分析

qq_39866521的博客

04-15

1451

需求监控日志显示某表：数据文件总数：52693 入库数量：51964 未入库：729 将未入库的数据重新入库。步骤 1.查看入库shell脚本sqlldr参数查看日志 $ETL_DIR/sqlldr userid=$login_name control=$control_file data=$Src_data log=$log_file bad=$bad_file 在脚本中找...

SQLLDR—CTL文件

weixin_33711641的博客

12-12

1万+

SQLLDR 可以把一些以文本格式存放的数据顺利的导入到oracle数据库中，是一种在不同数据库之间进行数据迁移的非常方便而且通用的工具。缺点就速度比较慢，另外对blob等类型的数据不方便。 CTL 文件介绍第一部分 1、LOAD DATA：通常以此为开头，其前可加如下参数： 2、UNRECOVERABLE：表示数据不可恢复 3、RECOVERABL...

Oracle SqlLoader使用

最新发布

06-27

<think>我们正在讨论OracleSQL*Loader中设置字段分隔符的方法。用户的问题是如何在使用SQL*Loader导入文件时设置字段分隔符。根据引用[2]和引用[4]，我们可以知道SQL*Loader允许通过`TERMINATEDBY`子句来指定字段分隔符。引用[2]中提到了使用`TERMINATEDBYWHITESPACE`（以空白符分隔）的情况，以及使用制表符作为分隔符的例子。引用[4]也提到在导入数据时，文件内容需要有格式和规律，并且可以通过指定分隔符来解析字段。具体方法是在控制文件（.ctl）中定义字段时，使用`TERMINATEDBY`来指定分隔符。例如：-`TERMINATEDBY','`表示用逗号分隔-`TERMINATEDBYX'09'`表示用制表符（ASCII码09）分隔-`TERMINATEDBY'|'`表示用竖线分隔此外，还可以使用`TERMINATEDBYWHITESPACE`表示以空白字符（空格、制表符等）作为分隔符。下面是一个示例控制文件，其中指定了字段分隔符为逗号：```sqlLOADDATAINFILE'data.csv'INTOTABLEempFIELDSTERMINATEDBY','OPTIONALLYENCLOSEDBY'"'(empno,ename,job,mgr,hiredateDATE"YYYY-MM-DD",sal,comm,deptno)```如果分隔符是制表符，可以这样写：```sqlFIELDSTERMINATEDBYX'09'```如果分隔符是竖线，可以这样写：```sqlFIELDSTERMINATEDBY'|'```另外，引用[2]还提到了当使用`TERMINATEDBYWHITESPACE`时，如果字段值中包含空格，可能会导致问题，因为空格也被视为分隔符。因此，需要根据实际数据情况选择合适的分隔符。总结步骤：1.准备数据文件，确保数据文件中的字段分隔符是确定的（如逗号、制表符、竖线等）。2.编写控制文件（.ctl），在`FIELDSTERMINATEDBY`子句中指定分隔符。3.运行SQL*Loader命令，指定控制文件。运行命令示例：```bashsqlldruserid=username/password@databasecontrol=loader.ctl```这样，SQL*Loader就会根据指定的分隔符来解析数据文件并导入到数据库表中。§§相关问题§§1.如何解决SQL*Loader导入时因字段包含分隔符导致的问题？2.除了分隔符，SQL*Loader控制文件还有哪些常用参数？3.如何优化SQL*Loader导入大量数据的性能？</think>### 如何在 SQL*Loader 中设置字段分隔符在 SQL*Loader 中设置字段分隔符主要通过控制文件（`.ctl`）中的 `FIELDS TERMINATED BY` 子句实现，以下是具体方法： #### 1. **基本语法** 在控制文件中指定分隔符格式： ```sql FIELDS TERMINATED BY '[分隔符]' ``` 其中 `[分隔符]` 可以是： - 可见字符：如 `','`（逗号）、`'|'`（竖线）、`';'`（分号） - 转义字符：如 `X'09'`（制表符）、`'\t'`（制表符） - 空白符：`TERMINATED BY WHITESPACE`（空格/制表符） #### 2. **示例控制文件** ```sql LOAD DATA INFILE 'data.txt' -- 数据文件路径 INTO TABLE employees -- 目标表名 FIELDS TERMINATED BY '|' -- 指定竖线为分隔符 OPTIONALLY ENCLOSED BY '"' -- 可选：引号包裹的字段 ( emp_id, name, hire_date DATE "YYYY-MM-DD", -- 日期格式处理 salary ) ``` #### 3. **特殊分隔符处理** - **制表符**：使用 `TERMINATED BY X'09'` 或 `TERMINATED BY '\t'` ```sql FIELDS TERMINATED BY X'09' -- 16进制ASCII码表示 ``` - **多字符分隔符**（如 `||`）： ```sql FIELDS TERMINATED BY '||' ``` #### 4. **注意事项 - **空值处理**：若分隔符连续出现（如 `A||C`），中间字段会被解析为 `NULL`[^2]。 - **字段包含分隔符**：使用 `OPTIONALLY ENCLOSED BY '"'` 包裹含分隔符的字段（如 `"Smith, John"`）。 - **性能优化**：对大文件添加 `DIRECT=TRUE` 参数（直接路径加载）。 #### 5. **执行命令** ```bash sqlldr user/password@db control=loader.ctl ``` > **关键场景对比** > | 分隔符类型 | 控制文件写法 | 适用场景 | > |------------------|-----------------------------|-----------------------| > | 逗号`,` | `TERMINATED BY ','` | CSV文件 | > | 制表符 | `TERMINATED BY X'09'` | TSV/Excel导出数据 | > | 竖线`|` | `TERMINATED BY '|'` | 管道分隔日志 | > | 多字符`||` | `TERMINATED BY '||'` | 自定义复杂分隔 | > | 空格/制表符混合 | `TERMINATED BY WHITESPACE` | 对齐的固定宽度数据[^2] | [^1]: 分隔符定义直接影响字段映射准确性，需与数据文件严格一致。 [^2]: 连续分隔符会导致空值插入，需确保数据格式规范。