Atitit.检测文本文件的编码 自动获取文件的中文编码

Atitit.检测文本文件的编码 自动获取文件的中文编码 

 

 

 

1 不能使用load来检测编码.. 1

2 使用convert来检测编码 1

3 程序检测文本编码 2

3.1 根据utf bom头 2

3.2 检测字符 cpdetector 2

4 ##实现原理 中文也走十gbk  utf8 unicode三中..只要试达的读取出来,在和汉字map相比..就能基于统计学原理...计算出来.. 2

 

 

 

1 不能使用load来检测编码..

 

 

要是txt是 gbk的, 使用notepad++ load as utf8 三正常的...

Load as gbk 却乱码了...

 

 

Editplus就ok...

 

 

不过.要是文件是utf8的.. Editplus  load as gbk 显示是正常的..所以,不能使用load来检测编码..

 

作者:: 老哇的爪子 Attilax 艾龙，  EMAIL:1466519819@qq.com

转载请注明来源： http://blog.youkuaiyun.com/attilax

 

2 使用convert来检测编码

使用convert来检测编码..docu>>file encode >>convet encode  显示编码确认框..这个走十恰当的的编码...

 

也可以使用notepad的另存为来检测..

 

3 程序检测文本编码

3.1 根据utf bom头

 

3.2 检测字符 cpdetector

  在java里面，你可以这样，用不同的字符集读入这些文本，看是否能够正常显示，如果能够正常显示的话，拿这些文本就是读入时候所采用的字符集。

 

4 ##实现原理
中文也走十gbk  utf8 unicode三中..只要试达的读取出来,在和汉字map相比..就能基于统计学原理...计算出来..

 

参考

paip.enhes efis 自动获取文件的中文编码 - attilax的专栏 - 博客频道 - youkuaiyun.com.htm