Using the Oracle Bulk Loader -2

最新推荐文章于 2021-07-09 14:55:53 发布
最新推荐文章于 2021-07-09 14:55:53 发布
阅读量172 收藏
点赞数
文章标签： Oracle

iteye_12997
关注
Oracle面试题集锦（2020大厂秋招真题）
数字成都
03-19 1万+
1，范式 7大范式：1NF, 2NF,3NF,BCNF,4NF,5NF,6NF 什么叫normalization？Denormalization? Normalization是数据库规范化，denormalization是数据库逆规范化。 在设计和操作维护数据库时，关键的步骤就是要确保数据正确地分布到数据库的表中。使用正确的数据结构，不仅便于对数据库进行相应的存取操作，而且可以极大地简化应用程序的...
【oracle11g官方文档阅读】Supporting Documentation上篇
萝卜吃鱼914的博客
07-09 1725
官方文档目录截图附上，如果我的内容有错误的地方还希望大家多多指正，谢谢 文章目录Concepts概念Administrator's Guide管理员手册Reference参考SQL Language Reference SQL参考Performance Tuning Guide 性能优化向导Error Messages 错误信息 Concepts概念 Title and Copyright I...
kettle oracle批量加载-Oracle Bulk Loader
09-19
kettle快速加载到oracle之oracle批量加载-Oracle Bulk Loader
BulkLoader
aksoft的专栏
08-12 311
BulkLoader是一个不错且使用简单的开源加载类，其能实现对不同类型文件的加载进行管理。 在尝试加载多个文件时候只要使用 add ＋ 文件地址,在加载结束后使用 “get文件类型”＋文件地址或加载时候注册的id去获得要得到的文件。 下载地址： http://code.google.com/p/bulk-loader/ 官方：http://www.stimuli.com.br/trane/...
oracle loader
0ffs3t
09-22 1740
我需要将文本文件导入ORACLE，需要建立一个表然后用LOADER导入，以前都是写到SQL里，我觉得那样真的很麻烦了。。Oracle SQL*Loader 使用指南（转载）SQL*Loader是Oracle数据库导入外部数据的一个工具.它和DB2的Load工具相似,但有更多的选择，它支持变化的加载模式，可选的加载及多表加载. 如何使用 SQL*Loader 工具 我们可以用Oracle
oracle bulk load,Oracle Bulk Loader
weixin_28738165的博客
04-11 309
OptionDescriptionStep nameName of the step.Note: This name has to be unique in a single transformation.ConnectionName of the database connection on which the dimension table resides.Target schemaThe n...
kettle加载到oracle之oracle批量加载-Oracle Bulk Loader
weixin_43398232的博客
09-19 4307
注：Oracle Bulk Loader组件其实用的就是Oracle SQLLoader，可在windows和linux等环境使用。 1.Oracle SQLLoader 使用简介 SQLLoader是oracle的高速批量数据加载工具。这是一个非常有用的工具，可用于从多种平面文件格式向Oracle数据库中加载数据。SQLLDR可以在极短的时间内加载数量庞大的数据。 SQLLoader具有很多功能...
oracle-goldgate
yutonging2016的博客
03-24 3330
/**********************************************************************************/ oracle 11.2 上利用 OGG 12.2.0.1 向 INFORMIX 复制数据 /*******************************************************************
oracle11g OCP 认证 1Z0-052考试笔记3
wlbzy的专栏
11-16 5745
1: Examine the following statement that is used to modify the primary key constraint on theSALES table: SQL> ALTER TABLE SALES MODIFY CONSTRAINT pk DISABLE VALIDATE; Which three statements are true
oracle 并行原理
hanfeng_1010的专栏
09-17 3851
oracle并行是一个很好的机制，但是他是不是一直是有效的了，那么我们需要了解它的一些细节，本篇结合官方文档，简单的描述了oracle的并行原理，希望对大家有帮助
oracle自动加载项,kettle加载到oracle之oracle批量加载-Oracle Bulk Loader
weixin_39551366的博客
04-08 662
注：Oracle Bulk Loader组件其实用的就是Oracle SQL Loader，可在windows和linux等环境使用。1.Oracle SQL Loader 使用简介SQL Loader是oracle的高速批量数据加载工具。这是一个非常有用的工具，可用于从多种平面文件格式向Oracle数据库中加载数据。SQLLDR可以在极短的时间内加载数量庞大的数据。SQL Loader具有很多功...
oracle bulk load
intrepid2008的博客
12-24 266
First create types in oracle [code="java"]DROP TYPE CINBELLINP.D_TABLE; CREATE OR REPLACE TYPE CINBELLINP.d_table is table of Date; / DROP TYPE CINBELLINP.I_TABLE; CREATE OR REPLACE TYPE CI...
kettle介绍
Beeman_xia的世界
02-22 2482
Kettle也叫PDI，在2006年Kettle加入了开源的BI组织Pentaho，正式命名为PDI，英文全称为Pentaho Data Integeration。Kettle是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水 壶，名字的起源正如该项目的主程序员MATT在
同步Oracle到Hbase(sparksql+bulkLoad)
麻辣灬小笼包的博客
07-09 614
这里其实是一个实时的项目，接kafka，但是开始需要把oracle的数据同步到Hbase，之前的方案 1.sqoop抽到hbase，特慢 2.sqoop抽到hive,hive建Hbase映射表，再利用sparksql同步到hbase，也挺慢 以下是现在的代码 private val logger = LoggerFactory.getLogger(jdbcTes.getClass) def main(args: Array[String]): Unit = { val spark
Oracle SQL*Loader FAQ
匆匆的菜园子
12-30 913
TopicsWhat is SQL*Loader and what is it used for? How does one use the SQL*Loader utility? Is there a SQL*Unloader to download data to a flat file? Can one load variable and fix length data re
oracle批量导入与导出——SQLloader&SPOOL用法简记
m0_46177407的博客
02-26 2041
sql*loader导入数据 ①：导入路径必须为英文路径，出现中文路径会乱码无法找到ctl脚本； ②：被导入的数据可以为csv、txt、dat文件，文本格式必须全部一致，分割符号格式全部一致否则一个提交内无法导入数据； ③：在DOS窗口命令批量sql*loader导入数据 或 直接运行编写好的.bat批处理文件直接导入数据库； ④：在linux中操作与dos（win）基本相同。 一：准备 ctl控...
CREATE TEMPORARY TABLE temp_navi_lj ( event_day STRING, event_id STRING, cuid STRING, extra_type STRING ) USING csv LOCATION "afs://xingtian.afs.baidu.com:9902/app/biglog/export/lbsmap/liuxu18/projects/navi_eva/navi_lj_{DATE}" OPTIONS( 'delimiter'='\t', 'hadoop.job.ugi'='yqxingtian,yqxingtianpw' ); 这段是将csv中的数据放入临时表temp_navi_lj吗？
最新发布
04-01
<think>好的，用户想知道如何通过SQL将CSV文件的数据导入到临时表temp_navi_lj中。我需要先整理一下不同数据库系统的导入方法，比如SQL Server、MySQL和Oracle，因为它们的方法可能不同。 首先想到的是SQL Server，因为用户提到了临时表，可能在SQL Server里常用。记得BULK INSERT或者OPENROWSET可以用来导入数据。需要确认文件路径、权限以及字段匹配的问题。比如使用BULK INSERT时，需要指定字段终止符和行终止符，尤其是CSV文件用逗号分隔的情况。还要注意临时表的作用域，确保在同一个会话中操作，否则临时表可能不可见，这点在引用[1]中有提到，关掉客户端后临时表会被删除，所以导入和后续操作要在同一个会话完成。 然后是MySQL的情况，使用LOAD DATA INFILE语句。但需要确保有FILE权限，并且路径正确。临时表在会话结束后自动删除，同样要注意会话的问题。可能还需要处理字段的匹配，尤其是CSV的列顺序是否与表一致。 接下来是Oracle，用户引用[2]提到用SQL*Loader或者外部表。临时表在Oracle中有不同的类型，比如事务级或会话级的，需要根据需求选择。使用外部表的话，可以不用实际导入数据，但可能需要目录对象的权限。而SQL*Loader则需要控制文件，步骤稍微复杂一些。 还需要考虑CSV文件的第一行是否是列名，如果是的话，在导入时需要跳过。比如在SQL Server中使用FIRSTROW = 2参数。另外，字段分隔符是否正确，比如是否用逗号，是否有文本限定符如双引号，这些都需要在语句中指定。 用户可能遇到的问题包括权限不足、文件路径错误、字段不匹配或数据类型转换错误。比如在引用[3]中提到的外键冲突，可能在导入时数据不符合目标表的约束，需要提前处理数据。此外，临时表的可见性，必须确保导入操作和后续查询在同一个会话中，否则临时表会被自动删除，如引用[1]所述。 最后，生成相关问题时要覆盖不同数据库的方法、常见问题解决、性能优化以及临时表的特点。确保用户了解不同系统的差异和注意事项，帮助他们根据实际环境选择合适的导入方式。</think>### 分步解答 #### 通过SQL将CSV文件导入临时表的通用方法 根据数据库类型不同，实现方式有所差异。以下是主流数据库的实现方法： --- #### **1. SQL Server 实现** **步骤说明：** - 使用 `BULK INSERT` 或 `OPENROWSET` 直接加载CSV文件 - 临时表需在**当前会话**中创建（否则无法访问）[^1] **示例代码：** ```sql -- 创建临时表 CREATE TABLE #temp_navi_lj ( column1 INT, column2 VARCHAR(50), ... ); -- 使用 BULK INSERT 导入 BULK INSERT #temp_navi_lj FROM 'D:\data\file.csv' WITH ( FIELDTERMINATOR = ',', -- CSV字段分隔符 ROWTERMINATOR = '\n', -- 行终止符 FIRSTROW = 2 -- 跳过标题行（如果CSV有列名） ); ``` --- #### **2. MySQL 实现** **步骤说明：** - 使用 `LOAD DATA INFILE` 命令 - 需确保MySQL服务有文件读取权限 **示例代码：** ```sql -- 创建临时表 CREATE TEMPORARY TABLE temp_navi_lj ( column1 INT, column2 VARCHAR(50), ... ); -- 导入CSV数据 LOAD DATA INFILE '/var/lib/mysql-files/data.csv' INTO TABLE temp_navi_lj FIELDS TERMINATED BY ',' ENCLOSED BY '"' -- 处理带引号的字段 LINES TERMINATED BY '\n' IGNORE 1 ROWS; -- 跳过标题行 ``` --- #### **3. Oracle 实现** **步骤说明：** - 使用 `SQL*Loader` 或外部表（External Table） - 外部表无需实际加载数据，适合临时分析[^2] **示例代码（外部表）：** ```sql -- 创建目录对象（需DBA权限） CREATE DIRECTORY csv_dir AS '/path/to/csv'; -- 定义外部表 CREATE TABLE temp_navi_lj ( column1 NUMBER, column2 VARCHAR2(50), ... ) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY csv_dir ACCESS PARAMETERS ( RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ',' MISSING FIELD VALUES ARE NULL ) LOCATION ('data.csv') ); ``` --- #### **关键注意事项** 1. **文件路径权限**：确保数据库进程有权限访问CSV文件 2. **字段映射**：CSV列顺序需与表结构一致 3. **临时表生命周期**：会话结束后自动删除，需保持连接 4. **数据类型匹配**：避免因格式错误导致导入失败（如日期、数字格式） ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值