当Httpclient遇到线程池(记一次爬虫经历)

最新推荐文章于 2025-07-01 17:50:54 发布

老高丶

最新推荐文章于 2025-07-01 17:50:54 发布

阅读量4.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：网络爬虫文章标签：爬虫 java 线程池 HttpClient

本文链接：https://blog.youkuaiyun.com/gaopu12345/article/details/49455547

网络爬虫专栏收录该内容

3 篇文章

订阅专栏

本文分享了在爬虫项目中使用线程池提高效率的经验，重点介绍了如何正确配置线程池并为每个线程单独创建HttpClient实例以解决速度慢和超时异常问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

要抓的数据量有点多,很多个页面,并且都一样的处理,那么直接就上线程池吧.搜了搜,得到了结果,用Executors.newFixedThreadPool()来生产出一个固定大小的线程池,后面所有的任务都会被放置在任务队列中.ok,开始写

java线程池的使用

建立线程池

ExecutorService executorService = Executors.newFixedThreadPool(10);
这就建立了一个大小为10的线程池

提交任务

executorService.submit(Runnable task);

等待所有任务都完成再继续执行下面的代码

executorService.shutdown();//不在接受新任务
while (true) {
    if (executorService.isTerminated()) {
        break;//所有任务完成后跳出这个检测循环
    }
    Thread.sleep(1000);
}

和Httpclient有什么关系呢?

这是我提交任务的代码

//Crawl是我实现Runnable接口的类
executorService.submit(new Crawl(client));//把外部的client实例传进去

在于提交任务这一条代码,我的task最开始需要外部提供一个HttpClient实例,我的实现是在外部只生成一个HttpClient实例,每次启动新任务都把这个client传进去(心想着这样可以省去在每个线程中生成新client的过程,应该可以提高效率)
但是事实是用上面的方法真的是特别特别的慢,虽然可能是比单线程快,但是还是慢的让人着急,并且在抓一些数据后会频繁发生各种”超时异常”,直到我灵光一现,想着让每个线程自己去new自己的HttpClient对象吧,不管它了,试一试,一下子,我感觉自己在天上飞,真的,飞起来了,快的我想哭.真的