SQLLDR导入乱码

需求将多个源系统的数据文件导入至数据库中,正常使用sqlldr导入后,发现其中一个源系统的中文数据均为乱码

  最先考虑到的是导入客户端与数据库编码不一致,查询表NLS_DATABASE_PARAMETERS中NLS_CHARACTERSET为ZHS16GBK,与客户端NLS_LANG值一致,排除

  下一步怀疑文件编码问题,在xshell中cat数据文件,发现数据文件中的中文全部为乱码,更改xshell的编码为utf-8,再cat后发现乱码变为中文,确认问题的原因是数据文件的编码为UTF-8,与数据库编码不同。

  可使用file -i filename 命令查询文件编码(linux)

  解决方法

  使用iconv命令转换数据文件编码,服务器是aix,执行后报错,cannot open converter,切换至root用户依旧报错,百思不得其解,将数据文件移至linux服务器,使用命令iconv -f utf-8 -t gbk filename > newfilename 转换成功,转移文件至aix服务器,使用cat命令查看,正常,使用sqlldr导入数据库后,无乱码,解决。

 

  问题后续

  经过iconv转换后,发现出现数据丢失的问题,比如,原来500多万条数据的文件,经过转换后只剩1万多条,怀疑是由于iconv命令遇到无法转化的字符时丢失,查询帮助文档加入-s参数

  iconv -f utf-8 -t gbk -s inputfile -o outputfile

  解决

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值