Yet another SqlLdr

在平时插入数据库数据时,我们一般用sqlldr 。

有时不大爱用sqlldr,就写了一个插数据的脚本

比如:

现在有数据库的表:

table(c1,c2)

现有文件:

a b c

e f g

想把文件中的前两例数据插入到表table.c1 table.c2列中
就可以使用下边的函数。

调用方法:

insert_tab_sql table c1@!1! c2@!2!

@符号用来分隔数据库的列名和源数据的列的计数。

函数输出如下:

insert into table ( c1,

c2)

values('a',

'b');

insert into table ( c1,

c2)

values('e',

'f');

commit;

可以通过设定FS变量的值来确定源数据分隔符。

也可以在@符号以后调用oracle函数

比如:

insert_tab_sql table c1@to_number/(!1!/) c2@2

这个函数比sqlldr 用起来方便,在某些方面也灵活一些,但性能低。

#Generate a sql fromfile
# Call syntax: insert_tab_sql tab field1@!1! field2@!2! ... fieldn@!m!
insert_tab_sql()
{
#argument
tab=$1
cnt=1
key=''
val=''
shift1
[-n"$FS"]&&awk="awk -F'$FS'"||awk='awk'
if [!-f$$.$tab.awk ];then
for arg in$*
do
col=`echo $arg|sed 's//(^[^@]*/)@.*$//1/'`

if [$col=$arg];then
["X"$key='X']&&key=$arg||key=${key}","$arg

["X"$val='X']&&val='$'$cnt||val=$val",$"$cnt
cnt=$(expr $cnt+ 1)
else
["X"$key='X']&&key=$col||key=${key}","$col
pos=`echo $arg|sed 's/^[^@]*@/(.*/)$//1/'`
pos=`echo $pos|sed 's/!/([0-9]*/)!/$/1/'`
["X"$val='X']&&val=$pos||val=$val","$pos
fi
done
awk_key=$val

cat <<EOF| sed '/values(/s//(/$[0-9]/{1,/}/)///47/"/1/"//47/g'|/
sed '/^[[:space:]]*print/y/,//n/'| awk '
/"[,;]$/{
if(doprint){
doprint=0;
print "print /""$0;
next;
}
}

//(/{
if($0~/^[[:space:]]*print.*[^;][[:space:]]*$/) {
doprint = 1;
print $0",/";"
next;
}
}

{
if(doprint){
print "print /""$0",/";"
}else{
print $0;
}
}
' > $$.$tab.awk
{
print"insert into $tab( $key)";
print "values($val); ";
if (NR%1000 == 0)print "commit;";
}
END{
print "commit;"
}
EOF
fi

eval"$awk-f $$.$tab.awk"
rm -f $$.$tab.awk

}

最近生病了住院中,有时间写些文章


<think>好的,我现在需要给用户介绍一下sqlldr。首先,我得确认自己对这个工具的了解是否正确。sqlldr是Oracle数据库中的一个实用程序,用于将数据从外部文件加载到数据库表中。用户可能想了解它的基本功能、使用方法以及常见应用场景。 接下来,我应该回忆sqlldr的主要特点。比如,它支持多种数据格式,如CSV、固定宽度文件等,可以通过控制文件(CTL文件)来定义数据加载的规则,比如字段映射、数据转换等。还需要提到它的高效性,适合大批量数据导入。 然后,用户可能想知道如何使用sqlldr。这里需要分步骤说明:首先准备数据文件,然后创建控制文件,定义要加载的表、字段、数据格式等,最后执行sqlldr命令。可能需要给出一个简单的示例,帮助用户理解具体操作流程。 还要注意常见参数,比如userid(数据库连接信息)、control(控制文件路径)、log(日志文件)等。可能还需要提到一些高级选项,比如并行加载、错误处理(discard文件)、跳过行数等。 用户可能遇到的问题,比如数据格式不匹配、字符集问题、性能优化等,也应该简要提及,并提供解决思路。比如,数据格式错误可以通过控制文件中的字段定义进行调整,或者预处理数据文件。 另外,需要比较sqlldr和其他数据导入工具(如外部表、Data Pump)的优缺点,帮助用户根据实际情况选择合适的方法。例如,sqlldr适合一次性大量数据导入,而外部表可能更适合需要频繁访问外部文件的情况。 最后,确保语言简洁明了,避免使用过于专业的术语,或者在使用时解释清楚。结构要清晰,分点说明,可能用示例来辅助解释。检查是否有遗漏的重要信息,比如版本兼容性、权限要求等,确保用户能全面了解sqlldr的基本使用和注意事项。</think>**SQL*Loader 是 Oracle 数据库提供的高效数据加载工具**,用于将外部文件(如 CSV、文本文件等)快速导入数据库表中。以下是它的核心要点: --- ### **1. 核心功能** - **批量数据加载**:专为大规模数据迁移设计,支持百万级数据快速导入。 - **灵活格式解析**:可处理定长/变长数据、多行记录、嵌套分隔符等复杂格式。 - **数据转换**:支持在加载时转换数据类型(如字符串转日期)、过滤脏数据。 - **多表加载**:通过一个控制文件将数据分发到多个表。 --- ### **2. 核心组件** - **控制文件 (.ctl)**:定义数据映射规则(核心配置文件) ```sql LOAD DATA INFILE 'data.csv' -- 数据文件路径 INTO TABLE employees -- 目标表 FIELDS TERMINATED BY ',' -- 字段分隔符 (id, name, hire_date DATE "YYYY-MM-DD") -- 列定义及格式转换 ``` - **数据文件**:需导入的原始数据文件(如 CSV) - **日志文件 (.log)**:记录加载过程、成功/失败记录数 - **错误文件 (.bad)**:存储格式错误无法加载的数据 - **废弃文件 (.dsc)**:存储因 WHERE 条件过滤的数据 --- ### **3. 基础使用步骤** 1. **准备数据文件** 例如 `data.csv`: ``` 101,张三,2023-01-15 102,李四,2023-02-20 ``` 2. **编写控制文件** 创建 `load.ctl`: ```sql OPTIONS (SKIP=1) -- 跳过首行标题 LOAD DATA INFILE 'data.csv' INTO TABLE employees FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' TRAILING NULLCOLS -- 允许末尾空列 ( emp_id INTEGER, name CHAR, hire_date DATE "YYYY-MM-DD" ) ``` 3. **执行命令** ```bash sqlldr userid=用户名/密码@数据库实例 control=load.ctl log=load.log ``` --- ### **4. 常用参数** | 参数 | 作用示例 | 说明 | |------|----------|------| | `DIRECT=true` | 启用直接路径加载(速度提升 5-10 倍) | 绕过数据库缓冲区 | | `ERRORS=100` | 允许最多 100 条错误数据 | 默认 50 | | `ROWS=50000` | 每提交 5 万条执行一次提交 | 批量提交提升性能 | | `SILENT=(HEADER,FEEDBACK)` | 隐藏执行过程输出 | 静默模式 | --- ### **5. 典型应用场景** - **跨系统迁移**:从旧系统导出文本文件迁移到新 Oracle 系统 - **定时数据同步**:每日定时导入业务系统生成的 CSV 对账单 - **大数据预处理**:加载日志文件后进行数据分析 - **容错式导入**:通过 BAD 文件排查数据质量问题 --- ### **6. 性能优化技巧** - **并行加载**:同时运行多个 SQL*Loader 进程加载不同数据文件 - **索引管理**:加载前禁用索引,完成后重建(减少索引维护开销) - **直接路径加载**:使用 `DIRECT=TRUE` 参数(需注意表锁问题) - **大数据文件分割**:将 10GB 文件拆分为多个 1GB 文件并行加载 --- ### **7. 替代方案对比** | 工具 | 优势 | 劣势 | |------|------|------| | **SQL*Loader** | 极致速度,复杂格式处理 | 需要编写控制文件 | | **外部表** | 实时查询外部文件 | 文件需持续保留在服务器 | | **Data Pump** | 全库/表空间级迁移 | 需要数据库间连通性 | --- **学习建议**:从简单 CSV 加载入手,逐步尝试处理日期格式转换、多表关联加载等复杂场景。遇到问题时,优先查看 `.log` 文件中的详细错误定位。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值