java 文件编码_Java获取文件编码

在不告知文件编码的情况下，通过一定的手段去探测文件的编码，几乎没有任何一种方法是绝对正确的。只有成功率大小的问题。一下列出几个常用的识别文件编码的方法。

常见的编码文件的开头来识别文件编码：

ANSI： 无格式定义

Unicode：  前两个字节为FFFE Unicode文档以0xFFFE开头

Unicode big endian： 前两字节为FEFF

UTF-8： 前两字节为EFBB UTF-8以0xEFBBBF开头

1、通过文件的前三个字节来判断

public static String codeString(String fileName) throws Exception {

BufferedInputStream bin = new BufferedInputStream(new FileInputStream(fileName));

int p = (bin.read() << 8) + bin.read();

bin.close();

String code = null;

switch (p) {

case 0xefbb:

code = "UTF-8";

break;

case 0xfffe:

code = "Unicode";

break;

case 0xfeff:

code = "UTF-16BE";

break;

default:

code = "GBK";

}

return code;

}

2、判断前三个字节出错率还是蛮大的，还可以进一步读取文件的字段，进行特殊编码字符的判断来确定文件编码

/**

* 判断文本文件的字符集，文件开头三个字节表明编码格式。

* 参考的博客地址

*

* @param path

* @return

* @throws Exception

* @throws Exception

*/

public static String charset(String path) {

String charset = "GBK";

byte[] first3Bytes = new byte[3];

try {

boolean checked = false;

BufferedInputStream bis = new BufferedInputStream(new FileInputStream(path));

bis.mark(0); // 读者注： bis.mark(0);修改为 bis.mark(100);我用过这段代码，需要修改上面标出的地方。

// Wagsn注：不过暂时使用正常，遂不改之

int read = bis.read(first3Bytes, 0, 3);

if (read == -1) {

bis.close();

return charset; // 文件编码为 ANSI

} else if (first3Bytes[0] == (byte) 0xFF && first3Bytes[1] == (byte) 0xFE) {

charset = "UTF-16LE"; // 文件编码为 Unicode

checked = true;

} else if (first3Bytes[0] == (byte) 0xFE && first3Bytes[1] == (byte) 0xFF) {

charset = "UTF-16BE"; // 文件编码为 Unicode big endian

checked = true;

} else if (first3Bytes[0] == (byte) 0xEF && first3Bytes[1] == (byte) 0xBB

&& first3Bytes[2] == (byte) 0xBF) {

charset = "UTF-8"; // 文件编码为 UTF-8

checked = true;

}

bis.reset();

if (!checked) {

while ((read = bis.read()) != -1) {

if (read >= 0xF0)

break;

if (0x80 <= read && read <= 0xBF) // 单独出现BF以下的，也算是GBK

break;

if (0xC0 <= read && read <= 0xDF) {

read = bis.read();

if (0x80 <= read && read <= 0xBF) // 双字节 (0xC0 - 0xDF)

// (0x80 - 0xBF),也可能在GB编码内

continue;

else

break;

} else if (0xE0 <= read && read <= 0xEF) { // 也有可能出错，但是几率较小

read = bis.read();

if (0x80 <= read && read <= 0xBF) {

read = bis.read();

if (0x80 <= read && read <= 0xBF) {

charset = "UTF-8";

break;

} else

break;

} else

break;

}

}

}

bis.close();

} catch (Exception e) {

e.printStackTrace();

}

System.out.println("--文件-> [" + path + "] 采用的字符集为: [" + charset + "]");

return charset;

}

3、通过工具库cpdetector来获取文件编码

/**

*

* 利用第三方开源包cpdetector获取文件编码格式.

* --1、cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法加进来,

* 如:ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector.

* --2、detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则.

* --3、cpDetector是基于统计学原理的,不保证完全正确.

*

* @param filePath

* @return 返回文件编码类型：GBK、UTF-8、UTF-16BE、ISO_8859_1

* @throws Exception

*/

public static String getFileCharset(String filePath) throws Exception {

CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();

/*ParsingDetector可用于检查HTML、XML等文件或字符流的编码,

* 构造方法中的参数用于指示是否显示探测过程的详细信息，为false不显示。

*/

detector.add(new ParsingDetector(false));

/*JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码测定。

* 所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以再多加几个探测器，

* 比如下面的ASCIIDetector、UnicodeDetector等。

*/

detector.add(JChardetFacade.getInstance());

detector.add(ASCIIDetector.getInstance());

detector.add(UnicodeDetector.getInstance());

Charset charset = null;

File file = new File(filePath);

try {

//charset = detector.detectCodepage(file.toURI().toURL());

InputStream is = new BufferedInputStream(new FileInputStream(filePath));

charset = detector.detectCodepage(is, 8);

} catch (Exception e) {

e.printStackTrace();

throw e;

}

String charsetName = "GBK";

if (charset != null) {

if (charset.name().equals("US-ASCII")) {

charsetName = "ISO_8859_1";

} else if (charset.name().startsWith("UTF")) {

charsetName = charset.name();// 例如:UTF-8,UTF-16BE.

}

}

return charsetName;

}