在INFORMIX中分割导入大数据量文件的方法

最新推荐文章于 2023-03-24 11:59:01 发布

转载最新推荐文章于 2023-03-24 11:59:01 发布 · 246 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/liangyj666/archive/2009/08/05/1539217.html

文章标签：

#大数据 #数据库

本文介绍了一个用于批量导入文本文件到数据库的Shell脚本。该脚本能够按指定数量的记录分割文件，并通过SQL语句进行数据导入，同时确保数据库处于无日志状态。最后，脚本还会校验导入前后记录数的一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

load.sh 文本文件导入表名
----------------------------------
#!/bin/ksh
echo $1 $2
cat $1|wc -l>>file.txt
#按每10000条记录分割一个文件
split -l 10000 $1 $2_
ls $2_* >file2.txt
for i in `cat file2.txt`
do
#数据库被置为无日志状态时,SQL语句不用加事务.
echo "begin work;load from $i insert into $2;commit work;">file3.sql
dbaccess dbsname file3.sql
rm -rf $i
done

#比较导入文本记录与导入后的记录数是否一致
echo "select count(*) from $2;" >count.sql
dbaccess dbsname count.sql>>file.txt

#rm temp file
rm -f file2.txt count.sql file3.sql

转载于:https://www.cnblogs.com/liangyj666/archive/2009/08/05/1539217.html