txt读取文件字符编码解决办法

最新推荐文章于 2025-05-08 11:15:00 发布

原创最新推荐文章于 2025-05-08 11:15:00 发布 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

Java 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种基于统计学原理的字符集探测方法——cpDetector，通过多种探测器的组合使用，提高了字符集探测的准确性。包括ParsingDetector、JChardetFacade等，并提供了针对不同数据类型的探测工具类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，cpDetector是探测器，它把探测任务交给具体的探测实现类的实例完成。内置了一些常用的探测实现类，这些探测实现类的实例可以通过add方法加进来，如ParsingDetector、ByteOrderMarkDetector、JChardetFacade、ASCIIDetector、UnicodeDetector。

2，cpDetector按照“谁最先返回非空的探测结果，就以该结果为准”的原则返回探测到的字符集编码。

3，cpDetector是基于统计学原理的，不保证完全正确。

最近看到网上很多方法都介绍了下面这种读取字符编码的解决办法实际并不能完全正确的解决问题，正确率比较低

 /**
     * 
     * 判断txt编码格式
     * 
     */
    public static String checkEncoding(int p){
    	  String code = null;    
          
          switch (p) {    
              case 0xefbb:    
                  code = "UTF-8";    
                  break;    
              case 0xfffe:    
                  code = "Unicode";    
                  break;    
              case 0xfeff:    
                  code = "UTF-16BE";    
                  break;    
              default:    
                  code = "GBK";    
          }    
          return code; 
    }

4，下面将介绍cpDetector这种基于统计学原理的读取文件字符编码的解决办法

a）首先需要下载相应的jar 下载地址：点击打开链接

b）添加工具类

package com.ghj.packageoftool;

import info.monitorenter.cpdetector.io.ASCIIDetector;
import info.monitorenter.cpdetector.io.ByteOrderMarkDetector;
import info.monitorenter.cpdetector.io.CodepageDetectorProxy;
import info.monitorenter.cpdetector.io.JChardetFacade;
import info.monitorenter.cpdetector.io.ParsingDetector;
import info.monitorenter.cpdetector.io.UnicodeDetector;

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.InputStream;
import java.net.URL;
import java.nio.charset.Charset;

/**
 * 文件工具类
 * 
 * @author 高焕杰
 */
public class FileTool {

	/**
	 * 获取本地文件的编码格式
	 * 
	 * @param file 要判断的文件编码格式
	 * 
	 * @author 高焕杰
	 */
	public static String getLocalFileEncode(File localFile) {

		
		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息，为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码 测定。所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以再多加几个探测器，比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(new ByteOrderMarkDetector());  
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			charset = codepageDetector.detectCodepage(localFile.toURI().toURL());
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	
	/**
	 * 获得远程URL文件的编码格式
	 * 
	 * @param url 远程文件的URL路径
	 * 
	 * @author 高焕杰
	 */
	public static String getURLFileEncode(URL url) {

		
		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息，为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码 测定。所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以再多加几个探测器，比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			charset = codepageDetector.detectCodepage(url);
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	
	/**
	 * 获得文件流的编码格式
	 * 
	 * @param inputStream 文件流
	 * 
	 * @author 高焕杰
	 */
	public static String getInputStreamEncode(InputStream inputStream) {

		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息，为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码 测定。所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以再多加几个探测器，比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			charset = codepageDetector.detectCodepage(inputStream, 0);
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	
	/**
	 * 获得字符串的编码格式
	 * 
	 * @param stringValue 要判断的文件编码格式字符串
	 * 
	 * @author 高焕杰
	 */
	public static String getStringEncode(String stringValue) {

		
		CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance();
		codepageDetector.add(new ParsingDetector(false));//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息，为false不显示。
		codepageDetector.add(JChardetFacade.getInstance());//JChardetFacade封装了由Mozilla组织提供的JChardet，它可以完成大多数文件的编码 测定。所以，一般有了这个探测器就可满足大多数项目的要求，如果你还不放心，可以再多加几个探测器，比如下面的ASCIIDetector、UnicodeDetector等。
		codepageDetector.add(ASCIIDetector.getInstance());//ASCIIDetector用于ASCII编码测定
		codepageDetector.add(UnicodeDetector.getInstance());//UnicodeDetector用于Unicode家族编码的测定
		Charset charset = null;
		try {
			InputStream inputStream = new ByteArrayInputStream(stringValue.getBytes());
			charset = codepageDetector.detectCodepage(inputStream, 3);
			if (charset != null){
				return charset.name();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
}

可以通过调用工具类的方法进行相应的类型的数据进行判断。