利用Jedis并发访问Redis

最新推荐文章于 2025-05-21 20:21:04 发布

Torres

最新推荐文章于 2025-05-21 20:21:04 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： JAVA 文章标签： Redis jedis 并发

本文链接：https://blog.youkuaiyun.com/leoleocmm/article/details/8965507

JAVA 专栏收录该内容

40 篇文章

订阅专栏

本文详细阐述了一个并发爬虫系统的运行流程，包括资源获取、选择、URL处理、日志记录、异常处理以及资源归还等关键步骤。系统通过Jedis连接池实现资源管理，并在循环中对URL进行并发处理，确保高效稳定的数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

	@Override
	public void run() {
		boolean isSuccess = true;
		try {
			jedis = pool.getResource();
			jedis.select(0);
			while(true){
				long startTime = System.currentTimeMillis(); // 获取开始时间
				int index = 0;
				while (index < list.size()) {
					String url = list.get(index);
					logger.info(url);
					try {
						crawURL(url);
					} catch (IOException
							| URISyntaxException e1) {
						e1.printStackTrace();
					}
					try {
						Thread.currentThread();
						Thread.sleep(1500);
					} catch (InterruptedException e) {
						e.printStackTrace();
					}
					index++;
				}
			}
		} catch (JedisConnectionException e) {
			isSuccess= false;
			if (jedis != null)
				pool.returnBrokenResource(jedis);
		} finally {
			if (isSuccess)
				pool.returnResource(jedis);
		}
	}