Sqlldr笔记

本文介绍 SQL Loader 的基本用法及参数设置,包括通过关键字指定命令行参数的方法、控制文件的编写格式及其各项功能,帮助读者掌握高效使用 SQL Loader 进行数据迁移的技术。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 sql loader可以把一些以文本格式存放的数据顺利地导入到oracle数据库中,它是一种在不同数据库之间进行数据迁移非常方便而且通用的工具。缺点就是速度比较慢,另外对blob等类型的数据就有点麻烦了。

一、用法SQLLDR keyword=value [,keyword=value,...]

 

二、有效的关键字:

   userid -- ORACLE username/password

   control – 控制文件

   log – 记录的日志文件

   bad – 坏数据文件

   data – 数据文件

   discard – 丢弃的数据文件

   discardmax – 允许丢弃数据的最大值        (全部默认)

   skip -- Number of logical records to skip  (默认0)

   load -- Number of logical records to load  (全部默认)

   errors – 允许的错误记录数          (默认50)

   rows -- Number of rows in conventional path bind array or between direct path data saves(每次提交的记录数,默认常规路径 64, 所有直接路径)

   bindsize -- Size of conventional path bind array in bytes(默认256000)

每次提交记录的缓冲区的大小(字节为单位,默认256000)

    silent --禁止输出信息 (header,feedback,errors,discards,partitions)

    direct – 使用直通路径方式导入                    (默认FALSE)

    parfile -- parameter file: name of file that contains parameter specifications

    parallel -- 并行导入                   (默认FALSE)

    file -- File to allocate extents from

    skip_unusable_indexes    -- disallow/allow unusable indexes or index partitions(默认FALSE)

    skip_index_maintenance   -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)

    readsize -- Size of Read buffer                (默认1048576)

    bindsize成对使用,其中较小者会自动调整到较大者。sqlldr先计算单条记录长度,乘以rows,如小于bindsize,不会试图扩张rows以填充bindsize;如超出,则以bindsize为准。

 

     external_table       -- use external table for load; NOT_USEDGENERATE_ONLYEXECUTE(默认NOT_USED)

     columnarrayrows     -- Number of rows for direct path column array(默认5000)

     streamsize        -- Size of direct path stream buffer in bytes(默认256000)

     multithreading       -- use multithreading in direct path

     resumable -- enable or disable resumable for current session(默认FALSE)

     resumable_name       -- text string to help identify resumable statement

     resumable_timeout       -- wait time (in seconds) for RESUMABLE(默认7200)

     date_cache -- size (in entries) of date conversion cache(默认1000)

 

     注意:有两种方式可以指定命令行参数:通过位置或者通过关键字。

     1)通过位置指定命令行参数的例子:'sqlldr scott/tiger foo'

     2)通过关键字指定命令行参数的例子:'sqlldr control=foo userid=scott/tiger'

     不能前面使用关键字指定后面通过位置指定的混合方式;

     比如:'sqlldr scott/tiger control=foo logfile=log' 是允许的;

     'sqlldr scott/tiger control=foo log'不允许。

     通过位置指定命令行参数的时候,必须将位置放在user/passwd之前。

     为清楚起见最好所有命令行参数都用关键字指定。

三、控制文件:一个控制命令的脚本文件,通常以ctl结尾,内容如下:

LOAD DATA 

INFILE 't.dat'              //要导入的文件 

// INFILE 'tt.date'        //导入多个文件 

// INFILE *                  //表示要导入的内容就在control文件里 下面的BEGINDATA后面就是导入的内容 

INTO TABLE table_name   // 指定装入的表 

BADFILE 'c:/bad.txt'    //可选,指定坏文件地址,缺省在当前目录下生成与原文件名一致的.bad文件 

//************* 以下是4种装入表的方式 

APPEND           // 原先的表有数据 就加在后面 

// INSERT            //装载空表 如果原先的表有数据 sqlloader会停止 默认值 

// REPLACE       //  原先的表有数据 原先的数据会全部删除 

// TRUNCATE            //  指定的内容和replace的相同 会用truncate语句删除现存数据 

 

//************* 指定分隔符 

FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' 

// TERMINATED BY WRITESPACE //以空白分割 

 

TRAILING NULLCOLS           // 表的字段没有对应的值时允许为空 

 

************* 下面是表的字段 

     col_1 , col_2 ,col_filler FILLER  // FILLER 关键字 此列的数值不会被装载 

     // : lg,lg,not 结果 lg lg 

)  

    如果没声明FIELDS TERMINATED BY ',' 时,可以用下面两种方式实现同样功能: 

1)、为每一列指定分隔符

 ( 

   col_1 [interger external] TERMINATED BY ',' , 

   col_2 [date "dd-mon-yyy"] TERMINATED BY ',' , 

   col_3 [char] TERMINATED BY ',' OPTIONALLY ENCLOSED BY 'lg' 

 ) 

2)、用位置告诉字段装载数据 

 ( 

    col_1 position(1:2), 

    col_2 position(3:10), 

    col_3 position(*:16), // 这个字段的开始位置在前一字段的结束位置 

    col_4 position(1:16), 

    col_5 position(3:10) char(8) // 指定字段的类型 

 ) 

 

BEGINDATA         //对应开始的 INFILE * 要导入的内容就在control文件里 

10Sqlwhat 

20lgshow

 

<think>好的,我现在需要给用户介绍一下sqlldr。首先,我得确认自己对这个工具的了解是否正确。sqlldrOracle数据库中的一个实用程序,用于将数据从外部文件加载到数据库表中。用户可能想了解它的基本功能、使用方法以及常见应用场景。 接下来,我应该回忆sqlldr的主要特点。比如,它支持多种数据格式,如CSV、固定宽度文件等,可以通过控制文件(CTL文件)来定义数据加载的规则,比如字段映射、数据转换等。还需要提到它的高效性,适合大批量数据导入。 然后,用户可能想知道如何使用sqlldr。这里需要分步骤说明:首先准备数据文件,然后创建控制文件,定义要加载的表、字段、数据格式等,最后执行sqlldr命令。可能需要给出一个简单的示例,帮助用户理解具体操作流程。 还要注意常见参数,比如userid(数据库连接信息)、control(控制文件路径)、log(日志文件)等。可能还需要提到一些高级选项,比如并行加载、错误处理(discard文件)、跳过行数等。 用户可能遇到的问题,比如数据格式不匹配、字符集问题、性能优化等,也应该简要提及,并提供解决思路。比如,数据格式错误可以通过控制文件中的字段定义进行调整,或者预处理数据文件。 另外,需要比较sqlldr和其他数据导入工具(如外部表、Data Pump)的优缺点,帮助用户根据实际情况选择合适的方法。例如,sqlldr适合一次性大量数据导入,而外部表可能更适合需要频繁访问外部文件的情况。 最后,确保语言简洁明了,避免使用过于专业的术语,或者在使用时解释清楚。结构要清晰,分点说明,可能用示例来辅助解释。检查是否有遗漏的重要信息,比如版本兼容性、权限要求等,确保用户能全面了解sqlldr的基本使用和注意事项。</think>**SQL*Loader 是 Oracle 数据库提供的高效数据加载工具**,用于将外部文件(如 CSV、文本文件等)快速导入数据库表中。以下是它的核心要点: --- ### **1. 核心功能** - **批量数据加载**:专为大规模数据迁移设计,支持百万级数据快速导入。 - **灵活格式解析**:可处理定长/变长数据、多行记录、嵌套分隔符等复杂格式。 - **数据转换**:支持在加载时转换数据类型(如字符串转日期)、过滤脏数据。 - **多表加载**:通过一个控制文件将数据分发到多个表。 --- ### **2. 核心组件** - **控制文件 (.ctl)**:定义数据映射规则(核心配置文件) ```sql LOAD DATA INFILE 'data.csv' -- 数据文件路径 INTO TABLE employees -- 目标表 FIELDS TERMINATED BY ',' -- 字段分隔符 (id, name, hire_date DATE "YYYY-MM-DD") -- 列定义及格式转换 ``` - **数据文件**:需导入的原始数据文件(如 CSV) - **日志文件 (.log)**:记录加载过程、成功/失败记录数 - **错误文件 (.bad)**:存储格式错误无法加载的数据 - **废弃文件 (.dsc)**:存储因 WHERE 条件过滤的数据 --- ### **3. 基础使用步骤** 1. **准备数据文件** 例如 `data.csv`: ``` 101,张三,2023-01-15 102,李四,2023-02-20 ``` 2. **编写控制文件** 创建 `load.ctl`: ```sql OPTIONS (SKIP=1) -- 跳过首行标题 LOAD DATA INFILE 'data.csv' INTO TABLE employees FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' TRAILING NULLCOLS -- 允许末尾空列 ( emp_id INTEGER, name CHAR, hire_date DATE "YYYY-MM-DD" ) ``` 3. **执行命令** ```bash sqlldr userid=用户名/密码@数据库实例 control=load.ctl log=load.log ``` --- ### **4. 常用参数** | 参数 | 作用示例 | 说明 | |------|----------|------| | `DIRECT=true` | 启用直接路径加载(速度提升 5-10 倍) | 绕过数据库缓冲区 | | `ERRORS=100` | 允许最多 100 条错误数据 | 默认 50 | | `ROWS=50000` | 每提交 5 万条执行一次提交 | 批量提交提升性能 | | `SILENT=(HEADER,FEEDBACK)` | 隐藏执行过程输出 | 静默模式 | --- ### **5. 典型应用场景** - **跨系统迁移**:从旧系统导出文本文件迁移到新 Oracle 系统 - **定时数据同步**:每日定时导入业务系统生成的 CSV 对账单 - **大数据预处理**:加载日志文件后进行数据分析 - **容错式导入**:通过 BAD 文件排查数据质量问题 --- ### **6. 性能优化技巧** - **并行加载**:同时运行多个 SQL*Loader 进程加载不同数据文件 - **索引管理**:加载前禁用索引,完成后重建(减少索引维护开销) - **直接路径加载**:使用 `DIRECT=TRUE` 参数(需注意表锁问题) - **大数据文件分割**:将 10GB 文件拆分为多个 1GB 文件并行加载 --- ### **7. 替代方案对比** | 工具 | 优势 | 劣势 | |------|------|------| | **SQL*Loader** | 极致速度,复杂格式处理 | 需要编写控制文件 | | **外部表** | 实时查询外部文件 | 文件需持续保留在服务器 | | **Data Pump** | 全库/表空间级迁移 | 需要数据库间连通性 | --- **学习建议**:从简单 CSV 加载入手,逐步尝试处理日期格式转换、多表关联加载等复杂场景。遇到问题时,优先查看 `.log` 文件中的详细错误定位。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值