Yet another SqlLdr

自动生成SQL插入语句

最新推荐文章于 2022-06-24 16:22:35 发布

最新推荐文章于 2022-06-24 16:22:35 发布 · 419 阅读

文章标签：

#awk #数据库

本文介绍了一种通过shell脚本自动生成SQL插入语句的方法，该方法可以将文本文件中的数据快速导入到指定的数据库表中。这种方法相较于使用sqlldr更加灵活便捷，尤其适用于小规模的数据导入场景。

在平时插入数据库数据时，我们一般用sqlldr 。

有时不大爱用sqlldr，就写了一个插数据的脚本

比如：

现在有数据库的表：

table(c1,c2)

现有文件：

a b c

e f g

想把文件中的前两例数据插入到表table.c1 table.c2列中

就可以使用下边的函数。

调用方法:

insert_tab_sql table c1@!1! c2@!2!

@符号用来分隔数据库的列名和源数据的列的计数。

函数输出如下：

insert into table ( c1,

c2)

values('a',

'b');

insert into table ( c1,

c2)

values('e',

'f');

commit;

可以通过设定FS变量的值来确定源数据分隔符。

也可以在@符号以后调用oracle函数

比如：

insert_tab_sql table c1@to_number/(!1!/) c2@2

这个函数比sqlldr 用起来方便，在某些方面也灵活一些，但性能低。

#Generate a sql fromfile
# Call syntax: insert_tab_sql tab field1@!1! field2@!2! ... fieldn@!m!
insert_tab_sql()
{
#argument
tab=$1
cnt=1
key=''
val=''
shift1
[-n"$FS"]&&awk="awk -F'$FS'"||awk='awk'
if [!-f$$.$tab.awk ];then
for arg in$*
do
col=`echo $arg|sed 's//(^[^@]*/)@.*$//1/'`

if [$col=$arg];then
["X"$key='X']&&key=$arg||key=${key}","$arg

["X"$val='X']&&val='$'$cnt||val=$val",$"$cnt
cnt=$(expr $cnt+ 1)
else
["X"$key='X']&&key=$col||key=${key}","$col
pos=`echo $arg|sed 's/^[^@]*@/(.*/)$//1/'`
pos=`echo $pos|sed 's/!/([0-9]*/)!/$/1/'`
["X"$val='X']&&val=$pos||val=$val","$pos
fi
done
awk_key=$val

cat <<EOF| sed '/values(/s//(/$[0-9]/{1,/}/)///47/"/1/"//47/g'|/
sed '/^[[:space:]]*print/y/,//n/'| awk '
/"[,;]$/{
if(doprint){
doprint=0;
print "print /""$0;
next;
}
}

//(/{
if($0~/^[[:space:]]*print.*[^;][[:space:]]*$/) {
doprint = 1;
print $0",/";"
next;
}
}

{
if(doprint){
print "print /""$0",/";"
}else{
print $0;
}
}
' > $$.$tab.awk
{
print"insert into $tab( $key)";
print "values($val); ";
if (NR%1000 == 0)print "commit;";
}
END{
print "commit;"
}
EOF
fi

eval"$awk-f $$.$tab.awk"
rm -f $$.$tab.awk

}