sqlload

最新推荐文章于 2021-04-08 16:58:14 发布
转载 最新推荐文章于 2021-04-08 16:58:14 发布 · 4.6k 阅读 · 4
文章标签：

#table #integer #image #multithreading #sql #file

 

用法

    SQLLDR keyword=value [,keyword=value,...]

    有效的关键字:

    userid -- ORACLE 用户名/口令

    control -- 控制文件名

    log -- 日志文件名

    bad -- 错误文件名

    data -- 数据文件名

    discard -- 废弃文件名

    discardmax -- 允许废弃的文件的数目         (全部默认)

    skip -- 要跳过的逻辑记录的数目 (默认 0)

    load -- 要加载的逻辑记录的数目 (全部默认)

    errors -- 允许的错误的数目         (默认 50) 如果不指定，达到错误上限自动停止，肯定是没有完全导入

    rows -- 常规路径绑定数组中或直接路径保存数据间的行数(默认: 常规路径 64, 所有直接路径)

    bindsize -- 常规路径绑定数组的大小 (以字节计) (默认 256000)

    silent -- 运行过程中隐藏消息 (标题,反馈,错误,废弃,分区)

    direct -- 使用直接路径                     (默认 FALSE)

    parfile -- 参数文件: 包含参数说明的文件的名称

    parallel -- 执行并行加载                    (默认 FALSE)

    file -- 要从以下对象中分配区的文件

    skip_unusable_indexes -- 不允许/允许使用无用的索引或索引分区 (默认 FALSE)

    skip_index_maintenance -- 没有维护索引, 将受到影响的索引标记为无用 (默认 FALSE)

    commit_discontinued -- 提交加载中断时已加载的行 (默认 FALSE)

    readsize -- 读取缓冲区的大小               (默认 1048576)

    external_table -- 使用外部表进行加载; NOT_USED, GENERATE_ONLY, EXECUTE (默认 NO

    T_USED)

    columnarrayrows -- 直接路径列数组的行数 (默认 5000)

    streamsize -- 直接路径流缓冲区的大小 (以字节计) (默认 256000)

    multithreading -- 在直接路径中使用多线程

    resumable -- 启用或禁用当前的可恢复会话 (默认 FALSE)

    resumable_name -- 有助于标识可恢复语句的文本字符串

    resumable_timeout -- RESUMABLE 的等待时间 (以秒计) (默认 7200)

    date_cache -- 日期转换高速缓存的大小 (以条目计) (默认 1000)

    PLEASE NOTE: 命令行参数可以由位置或关键字指定。前者的例子是 'sqlload    scott/tiger foo'; 后一种情况的一个示例是 'sqlldr control=foo userid=scott/tiger'.位置指定参数的时间必须早于, 但不可迟于由关键字指定的参数。例如,    允许 'sqlldr scott/tiger control=foo logfile=log', 但是不允许 'sqlldr scott/tiger control=foo log', 即使参数 'log' 的位置正确。

 

实践

LOAD DATA

INFILE 'result/stat-20100821-detail.txt'

replace

into table LOGDETAILS_20100821 --   insert  append replace

FIELDS TERMINATED BY ' |+-s| ' --字段分割符号

TRAILING NULLCOLS --允许匹配不到的字段

(

  ID            RECNUM  , --RECNUM属性来实现id的自增 如果入库方式是追加一定要使用序列 COUNTERINFO_SEQ.nextval

  IP            ,

  HITTIME       "to_date(:HITTIME, 'YYYY-MM-DD HH24:Mi:SS')",

  URL           ,

  STATUS        ,

  SIZES         ,

  URL_SOURCE    char(1024),

  TOOLS         char(1024),

  SERVERINFO    ,

  SYSTEM_ID     ,

  SOURCETYPE_ID ,

  SERVERSOURCE 

)

整理问题

value used for ROWS parameter changed from 64 to 58

Record 49305: Rejected - Error on table LOGDETAILS_20100822, column SERVERSOURCE.

ORA-12899: value too large for column "LOGANALYSER"."LOGDETAILS_20100822"."SERVERSOURCE" (actual: 71, maximum: 50)

Record 49561: Rejected - Error on table LOGDETAILS_20100822, column SERVERSOURCE.--字段长度

ORA-12899: value too large for column "LOGANALYSER"."LOGDETAILS_20100822"."SERVERSOURCE" (actual: 71, maximum: 50)

ORA-01653: unable to extend table LOGANALYSER.LOGDETAILS_20100822 by 128 in tablespace TBS_LOGANALYSER --表空间配额不足

SQL*Loader-605: Non-data dependent ORACLE error occurred -- load discontinued.

特殊说明

使用SQLLOAD导入数据时四种装入方式导入数据

     APPEND //原先的表有数据就加在后面

     INSERT // 装载空表,如果原先的表有数据SQLLOADER会停止默认值

     REPLACE // 原先的表有数据 原先的数据会全部删除

     TRUNCATE // 指定的内容和REPLACE的相同会用TRUNCATE语句删除

使用SQLLOAD导入数据时 不导入从文件头开始的指定行数据：sqlldr

         region CONSTANT '31',

         time_loaded "to_char(SYSDATE, 'HH24:MI')",

         data1 POSITION(1:5) ":data1/100",

         data2 POSITION(6:15) "upper(:data2)",

         data3 POSITION(16:22)"to_date(:data3, 'YYMMDD')" --还可以DATE DD/MM/YYYY

       )

使用SQL*LOAD一次导入多个文件到同一个表:

     LOAD DATA

     INFILE file1.dat

     INFILE file2.dat

     INFILE file3.dat

     APPEND

     INTO TABLE emp

      (  empno POSITION(1:4) INTEGER EXTERNAL, --字段长度确定时，使用POSITION定位

         ename POSITION(6:15) CHAR,

         deptno POSITION(17:18) CHAR,

         mgr POSITION(20:23) INTEGER EXTERNAL

      )

使用when条件指定SQL*LOAD将一个文件导入不同的表: INTO TABLE tablename WHEN filed = '条件'

使用SQL*LOAD有选择性的导入数据到一个或多个表中：

     注:

     SQL*LOAD不允许在when语句中使用OR...只能使用AND

     (01) 表示数据文件中的第一个字符

     (30:37) 表示数据文件中第30-37个字符

     LOAD DATA

     INFILE 'mydata.dat' BADFILE 'mydata.bad' DISCARDFILE 'mydata.dis'

     APPEND

     INTO TABLE my_selective_table

     WHEN (01) <> 'H' and (01) <> 'T'

     (

          region CONSTANT '31',

          service_key POSITION(01:11) INTEGER EXTERNAL,

          call_b_no POSITION(12:29) CHAR

     )

     INTO TABLE my_selective_table

     WHEN (30:37) = '20031217'

     (

          region CONSTANT '31',

          service_key POSITION(01:11) INTEGER EXTERNAL,

          call_b_no POSITION(12:29) CHAR

     )

使用SQL*LOAD导入数据时,通过在字段上使用关键字过滤数据文件中的指定列： field2 FILLER

使用SQL*LOAD导入数据时,通过使用关键字表示把多行记录合并成一行：CONCATENATE 3

使用SQL*LOAD导入LOB等大对象:

     CREATE TABLE image_table (

          image_id NUMBER(5),

          file_name VARCHAR2(30),

          image_data BLOB);

     LOAD DATA

     INFILE *

     INTO TABLE image_table

     REPLACE

     FIELDS TERMINATED BY ','

     (

          image_id INTEGER(5),

          file_name CHAR(30),

          image_data LOBFILE (file_name) TERMINATED BY EOF

     )

     BEGINDATA

     001,image1.gif

     002,image2.jpg

     003,image3.jpg

dws2004
关注
oracle sqlload 导入数据
weixin_46764753的博客
01-31 1410
【代码】oracle sqlload 导入数据。
shell封装的oracle sqlload便利加载数据小脚本
ninefoxcool的博客
04-05 765
shell封装oracle sqlload背景功能简介用法案例 背景 从事于数据方面工作的小伙伴们，在工作做经常会入库一些文件，比如excel，CSV，文本文件。很多小伙伴们都是采用plsql或者其他工具软件，通过粘贴复制到表中，或者工具提供的文本导入方法。对于数据量一大，几十万甚至千万级别的数据量，工具多半会很慢或者奔溃。所以这里提供一下本人在工作中解决该办法的思路及脚本。 功能简介 本脚本的核...
SQL LOADER错误小结
09-10
在使用SQL*LOADER装载数据时，由于平面文件的多样化和数据格式问题总会遇到形形色色的一些小问题，下面是小编抽时间整理的一些错误，感兴趣的朋友一起学习吧
SQL*Loader-605: Non-data dependent ORACLE error occurred — load discontinued
weixin_30457551的博客
04-09 2657
It seems thetablespaceis full. 转载于:https://www.cnblogs.com/kakaisgood/p/8760003.html
oracle sqlload when,sqlload导入数据时when条件限制有关问题
weixin_42358594的博客
04-08 651
sqlload导入数据时when条件限制问题想把一批数据导入到oracle数据库中，用的是sqlload，现在这些数据中有些数据的时间是错的，所以我想把数据的其中一个时间字段和当前系统时间比较，如果比系统时间大，那么就把这条数据丢弃。如果比系统时间小，就入库。请问这个要怎么实现。求大神帮忙------解决思路------------------------可以使用触发器，大体如下SQL>...
Oracle SQL Loader的详细语法
flyfg的专栏
12-25 695
Oracle   SQL   Loader的详细语法     SQL*LOADER是ORACLE的数据加载工具，通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据     仓库选择使用的加载方法，因为它提供了最快速的途径（DIRECT，PARALLEL）。现在，我们抛开其理论不谈，用实例来使您快速掌握SQL*LOADER的使用方法。      首先，我们认识一下SQL
SqlLoad 使用
congwen9810的博客
08-26 339
----执行语句sqlldr user/passwd@SID control="\hm.txt"-----------------------------自己的模板LOAD DATACHARACTERSET ZHS16GBK...
SQL LOAD生成测试文件、控制文件、执行命令
04-19
生成测试数据文件，包含"|"分隔的数据 SQL Load控制文件 执行sqlldr命令
sqlload简单实例
03-18
SQLLOAD是Oracle数据库提供的一种快速数据加载工具，主要用于大量数据的批量导入，它能显著提高数据导入的效率。本实例将向你展示如何使用SQLLOAD进行数据导入，并附带了相应的语句和批处理文件，以便你理解并实践...
sqlload2数据库大量数据导出工具
08-17
oracle/mysql，大量数据导出工具。快速方便。
oracle之sqlloader
隐市高手
05-23 2384
    oracle的sqlloader可以从文件批量的将数据插入到数据库中，避免了使用SQL一句一句插入给数据库带来的压力。
Oracle sqlldr导入数据使用默认值和提高性能的方法
热门推荐
牧码人的专栏
11-08 1万+
在实际中常常有大量的数据需要导入到目前的数据库表中，oracle提供的sqlldr命令很好的meet了这个需求。在使用的过程中，我们发现，如果在数据库的table端的Column中设置default值，但是使用sqlldr就不会起作用，也就是默认值没有设置成功，所以需要设置默认值得时候，我们将默认值写到了ctl文件中。ctl文件如下： Load data infile 'd:\temp\bus
采用SHELL，通过SQL LOAD导入一定格式的txt文件至数据库中
dong0506的博客
11-09 278
1。 准备工作，window中可直接通过sqlload直接导入文件，linux下，需要有sqlload的相关软件。 2。 SQL脚本（MID_DFDZ.ctl） LOAD DATA INTO TABLE MID_T0_TRANStruncateFIELDS TERMINATED BY '|'( stldate, merno, termno, pan, transa...
sqlloader 插入默认值
深海之蓝的个人专栏
01-20 3944
在使用sqlloader的过程中，有这样一个需求，就是表中的某列需要一个默认值，例如c1列为varchar2类型，插入的时候默认插入gg字符。       网上找了一些解决办法，发现不行，例如：c1 'gg'，但是刚才的语句，把gg换成数字0是可以的，所以考虑是否是字符串的原因，后来尝试用 c1 "gg"也不行。 最后灵机一动，变成了 c1 "'gg'"       怕大家看不清楚，解释一下
sql*loader:在加载的字段中使用默认值
SouthKing
02-25 1532
使用SQL*LOADER加载文本的时候，某些列我希望填写一个默认值，应该怎么做呢？     第一种方式是在创建表的时候，字段上设置一个default约束，然后这样写控制文件： load data append into table temp_xxxx TRAILING NULLCOLS   --这行一定要加 (     user_name position(1:1000),...
sql loader 参数详解
maoweiting19910402的专栏
06-12 5615
sql loader 参数详解 Sqlldr         sql loader可以把一些以文本格式存放的数据顺利地导入到oracle数据库中，它是一种在不同数据库之间进行数据迁移非常方便而且通用的工具。缺点就是速度比较慢，另外对blob等类型的数据就有点麻烦了。 一、用法: SQLLDR keyword=value [,keyword=value,...] 二、
sqlldr导入数据
citing2133的博客
06-05 426
错误：SQL*Loader-605: 出现与数据无关的 ORACLE 错误 -- 加载无法继续。解决：scott用户被数据库限制了在建表的表空间alter user scott(用户名) quota unlimited on s...
Oracle用sqlldr导入文件数据时使用默认值
Cherry
08-30 6821
当我们再linux主机上使用sqllldr将文件数据导入到库表中的时候会发现有的时候文件中字段值为空， 但是库表中这个字段是必须要有值的，所以我们要么改字段可为空，要么在入库的时候给这个字段加 一个可以符合逻辑的默认值。下面这个方法就可以为我们加上一个默认值，而且在该字段有值的时候还 不会覆盖原有数值。修改ctl文件 string terminated  by '|'    "nvl(:s...
2013/08/06 SQLLDR 空值取默认值和一列完全默认值
zichuanxiu904的专栏
08-06 6131
1.部分列为空取默认值   控制文件 LOAD DATA INFILE emp.txt INTO TABLE emp REPLACE (NAME POSITION(1:4),JOB POSITION(*:6),SALARY POSITION(*+2:12), COMPLANY POSITION(13:14) INTEGER EXTERNAL "NVL(:COMPLANY,0)")
sqlLoad
最新发布
09-29
<think>首先，用户的问题是关于“sqlLoad”的信息，包括其功能、使用方法等。但我在提供的引用中并没有直接看到“sqlLoad”这个术语。让我回顾引用： - 引用[1]：讨论SQL Server的XML功能，提到了XSL转换函数。 - 引用[2]：提到了“LOAD DATA INFILE”，这是一个MySQL命令，用于从文件导入数据。 - 引用[3]：讨论了加载模块的SQL方式和编程方式。 - 引用[4]：关于Flink的SQL Gateway。 用户说：“我想了解sqlLoad的相关信息”，并提到“可能包括其功能、使用方法等”。在引用[2]中，有“LOAD DATA INFILE”，这可能就是用户所说的“sqlLoad”。用户可能打错了，或者是简写。在数据库上下文中，“LOAD DATA INFILE”是MySQL中的命令，用于导入数据。 用户指令要求我参考上一次的问题和我的回答。回顾用户消息："上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。" 但在这个对话中，这是第一条消息，所以没有上一次的回答。系统指令是固定的。 我应该基于引用回答。引用[2]直接涉及“LOAD DATA INFILE”，这很可能就是“sqlLoad”的意图。 用户说“sqlLoad”，可能是一个误写或特定术语。在数据库领域，常见的术语是“LOAD DATA INFILE”在MySQL中，或在Oracle中有“SQL*Loader”。 在引用[2]中，明确提到了“LOAD DATA INFILE”，并描述了它按指定的列导入文件。 所以，我推断“sqlLoad”指的是类似MySQL的“LOAD DATA INFILE”命令或其他数据库的数据加载工具。 现在，回答结构： - 系统指令要求：回答结构清晰，帮助用户逐步解决问题。 - 必须使用中文。 - 对于数学表达式，使用指定格式，但这里可能不涉及数学。 - 生成相关问题。 - 在引用的段落末尾添加引用标识。 内容步骤： 1. **确认主题**：解释“sqlLoad”可能是什么。假设它指向“LOAD DATA INFILE”或类似工具。 2. **功能**：描述其功能，如从文件导入数据到数据库表。 3. **使用方法**：解释如何使用，包括基本语法和选项。 4. **相关介绍**：基于引用，提供更多上下文。 5. **引用来源**：在相关部分末尾添加引用标识。 从引用[2]："LOAD DATA INFILE 可以按指定的列把文件导入到数据库中。当我们要把数据的一部分内容导入的时候，这个特点就很重要。比方说，我们要从Access数据库升级到MySQL数据库的时候，需要加入一些栏目(列/字段/field)到MySQL数据库中，以适应一些额外的需要。[^2]." 我可以基于这个扩展。 另外，引用[3]和[4]提到加载数据的方式，但不是直接相关。 用户指令还说“尽可能多的参考用户上一次的问题和你的回答”，但由于这是第一条，我将忽略或假设无历史。 最终回答结构： - 介绍sqlLoad（作为LOAD DATA INFILE的上下文）。 - 功能描述。 - 使用方法示例。 - 其他相关信息。 - 生成相关问题。 确保回答真实可靠：基于标准数据库知识，补足引用信息。 在回答中，引用段落末尾添加[^2]等。 生成相关问题：在最后添加。 现在，草拟回答： 标题或开头：解释sqlLoad。 功能： - sqlLoad通常指的是数据库中的数据导入工具，如MySQL的LOAD DATA INFILE命令。 - 主要功能包括将文本文件中的数据导入到数据库表中，支持指定列、格式等。 使用方法： - 基本语法：`LOAD DATA INFILE 'file_name' INTO TABLE table_name [OPTIONS];` - 示例：基于引用[2]，描述如何指定列。 相关介绍： - 提到在数据迁移、升级中的应用。[^2] 添加引用标识。 生成相关问题： 1. sqlLoad在不同数据库中的实现差异？ 2. 如何优化sqlLoad的性能？ 3. sqlLoad的安全考虑？ 确保中文回答。 </think>### sqlLoad的功能、使用方法及相关介绍 在数据库管理中，“sqlLoad”通常不是标准的术语，但从您的查询上下文和提供的引用来看，您可能指的是数据库中的数据加载工具，如MySQL中的`LOAD DATA INFILE`命令（或类似工具如Oracle的SQL*Loader）。这类工具主要用于高效地将外部文件（如CSV或TXT）中的数据导入数据库表中。以下我将基于引用[2]和相关知识，为您逐步解析sqlLoad的核心功能、使用方法及关键细节，确保回答真实可靠。sqlLoad的核心是简化数据导入过程，常用于数据迁移、ETL（提取、转换、加载）或数据库升级场景[^2]。 #### 一、sqlLoad的功能 sqlLoad的核心功能是批量导入数据，具体包括： - **数据导入**：将本地或远程文件（如CSV、TXT）中的数据加载到数据库表中，支持指定列和字段映射，避免导入不必要的数据[^2]。 - **部分导入**：允许选择性导入文件中的特定列，这在数据迁移时非常有用（例如，从旧系统如Access升级到MySQL时，添加额外字段）[^2]。 - **格式处理**：自动处理数据格式转换，如日期、数字和字符串的解析，减少手动干预。 - **性能优化**：通过批量操作减少网络和I/O开销，比逐行插入更高效。 在MySQL中，`LOAD DATA INFILE`是典型实现，它能处理数百万行数据的快速导入，适用于大数据场景[^2]。其他数据库如Oracle的SQL*Loader提供类似功能，但语法可能略有不同。 #### 二、sqlLoad的使用方法 sqlLoad的使用通常涉及SQL命令行或脚本方式（引用[3]提到SQL和编程方式）。以MySQL的`LOAD DATA INFILE`为例，我将逐步解释基本语法、选项和示例。 1. **基本语法** 通用命令格式如下（在MySQL命令行或SQL脚本中执行）： ```sql LOAD DATA INFILE '文件路径' INTO TABLE 表名 [FIELDS TERMINATED BY '分隔符' ENCLOSED BY '引号字符'] [LINES TERMINATED BY '行终止符'] [IGNORE number LINES] -- 忽略文件开头的行数 [(列1, 列2, ...)]; -- 指定导入的列 ``` - **关键选项**： - `FIELDS TERMINATED BY`：定义字段分隔符（如逗号`,`用于CSV）。 - `LINES TERMINATED BY`：定义行终止符（如`\n`）。 - `IGNORE n LINES`：跳过文件开头的标题行。 - 列指定：只导入文件中匹配的列，其他列可设为默认值或忽略[^2]。 2. **使用示例** 假设有一个文件`data.csv`，内容为： ``` id,name,age 1,Alice,30 2,Bob,25 ``` 要将此文件导入MySQL表`users`（表结构为`id INT, name VARCHAR(50), age INT`），并忽略标题行，命令如下： ```sql LOAD DATA INFILE '/path/to/data.csv' INTO TABLE users FIELDS TERMINATED BY ',' ENCLOSED BY '"' -- CSV格式处理 LINES TERMINATED BY '\n' IGNORE 1 LINES (id, name, age); -- 指定导入列 ``` - **结果**：数据成功导入，数据库表`users`新增两行记录。 - **注意事项**：文件路径需数据库服务器可访问（本地文件用`LOCAL`关键字）；权限问题可能导致失败（需确保用户有FILE权限）[^2]。 3. **其他使用方式** - **SQL方式**：如上所示直接在SQL CLI中执行命令（引用[3]提到的SQL方式）。 - **编程方式**：通过Java、Python等语言调用API实现动态导入（如Python使用`mysql.connector`库）： ```python import mysql.connector cnx = mysql.connector.connect(user='user', password='pass', host='localhost', database='db') cursor = cnx.cursor() query = "LOAD DATA INFILE 'data.csv' INTO TABLE users FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' IGNORE 1 LINES;" cursor.execute(query) cnx.commit() ``` - 这种方式适合自动化脚本或集成到应用中（引用[3]强调编程灵活性）[^3]。 #### 三、相关介绍及注意事项 - **优点**： - 高效：比INSERT语句快10-100倍，适合大数据量导入[^2]。 - 灵活：支持自定义分隔符和部分列导入，适应不同文件格式。 - 安全：可通过权限控制减少风险（如限制文件访问路径）。 - **缺点**： - 平台依赖：文件路径需兼容数据库服务器操作系统。 - 错误处理：数据格式不匹配时可能失败（建议先用小文件测试）。 - **适用场景**：数据迁移（如从Access到MySQL）、日志导入或批量数据更新（引用[2]以升级场景为例）[^2]。在更广泛的系统中，类似工具如Flink的SQL Gateway也支持数据加载，但侧重于流处理（引用[4]提到结果批处理模式）[^4]。 总之，sqlLoad（以`LOAD DATA INFILE`为代表）是数据库管理的核心工具，能显著提升数据导入效率。使用时需结合具体数据库文档测试，避免常见陷阱如权限问题或格式错误。 ### 相关问题 为了帮助您深入学习，以下是基于本主题生成的相关问题： 1. sqlLoad在不同数据库（如MySQL、Oracle）中的语法和使用有什么区别？ 2. 如何优化sqlLoad的性能以提高大数据导入速度？ 3. sqlLoad在数据迁移中有哪些安全风险和防范措施？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值