特殊字符^M引起的数据导入问题

问题:特殊字符^M引起的数据导入问题:
问题描述:
在完成需求时需要通过系统门户网站上传原始数据,在到生产环境登录ftp下载数据.一次在从ftp下载下来数据,使用load导入数据库的过程后,发现导入的数据与文件中的数据不一致,
字段被截取了.
使用命令:cat -v source.txt 查看文件发现每行记录后有一个特殊字符^M(经查该字符可通过ctrl+v+m输入),
使用命令:sed 's/^M//g' source.txt 替换掉^M字符,再次导入,成功.

问题分析:
关于使用ftp传输文件的两种方式:binary ascii
binary:以二进制比特流传输文件,保留了原文件中的所有所以字符信息
ascii:以ascii码传输的时候,会在原系统还目标系统做相应的字符转换
将回车换行转换为本机的回车换行->
unix:n
windows:rn
mac:r
而上面的^M对应的是windows下dos格式的r,即十六进制的0D,因为门户的ftp上传功能使用的是binary传输模式,所以系统没有对windows下的回车换行进行替换,
到unix平台就会在每行记录后多出一个^M字符.

[@more@]

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/23937368/viewspace-1044947/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/23937368/viewspace-1044947/