cpdetector 多线程异常及解决办法

KrseLee

于 2019-05-10 17:09:31 发布

阅读量712

点赞数 2

分类专栏： Java

本文链接：https://blog.youkuaiyun.com/a398942089/article/details/90080247

版权

Java 专栏收录该内容

2 篇文章

订阅专栏

cpdetector是一个方便的文件编码检测库，但在多线程环境下可能会抛出ConcurrentModificationException。此异常通常发生在迭代集合时同时修改集合。问题源于其内部的非线程安全设计。解决方法是避免使用单例，改为每个线程创建新的实例，以确保线程安全。通过这种方式，可以成功适应多线程环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cpdetector是一个java探测文件编码的三方库，使用起来比较方便。但是最近使用多线程处理时抛了ConcurrentModificationException，在网上查了下该异常的原因，解释为：

使用iterator遍历集合的同时对集合进行修改就会出现java.util.ConcurrentModificationException异常

具体的异常内容如下：

java.util.ConcurrentModificationException
	at java.util.LinkedHashMap$LinkedHashIterator.nextNode(LinkedHashMap.java:719)
	at java.util.LinkedHashMap$LinkedKeyIterator.next(LinkedHashMap.java:742)
	at info.monitorenter.cpdetector.io.CodepageDetectorProxy.detectCodepage(CodepageDetectorProxy.java:132)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.getFileEncode(HtmlConsumer.java:241)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.loadHtmlContent(HtmlConsumer.java:157)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.processOneTask(HtmlConsumer.java:114)
	at com.baidu.ecom.pa.pixelrtmanager.domain.entities.HtmlConsumer.run(HtmlConsumer.java:63)
	at java.lang.Thread.run(Thread.java:748)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

查看CodepageDetectorProxy的实现源码可以发现他是一种单例模式调用的，但是这个单例模式下定义了一个成员变量private Set detectors = new LinkedHashSet();于是导致了天然的非线程安全，多个线程调用该实例时，就会造成上面说的，某一条线程正在遍历set，另外一条线程已经开始尝试往里塞东西了。

package info.monitorenter.cpdetector.io;

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.nio.charset.Charset;
import java.util.Iterator;
import java.util.LinkedHashSet;
import java.util.Set;

public final class CodepageDetectorProxy extends AbstractCodepageDetector {
    private static CodepageDetectorProxy instance = null;
    private Set detectors = new LinkedHashSet();

    private CodepageDetectorProxy() {
    }

    public static CodepageDetectorProxy getInstance() {
        if (instance == null) {
            instance = new CodepageDetectorProxy();
        }
        return instance;
    }
	...
}

如何改造使其适用于多线程呢？这么简单操作一下就行了：
创建一个新类MyCodepageDetectorProxy，改动一开始的一部分，其他可以全部复用其实现，其实也就是将单例模式变成了正常的bean，然后在每条线程里new一个出来使用就好了，非常简单。


public class MyCodepageDetectorProxy {

    private Set detectors = new LinkedHashSet();

    public MyCodepageDetectorProxy() {
    }
	...

希望对踩坑的同学有帮助。