SpringBoot3 + Jedis5 + Redis集群 如何通过scan方法分页获取所有keys

背景:

由于需要升级老项目代码，从SpringBoot1.5.x 升级到 SpringBoot3.3.x，框架中引用的Jedis自动升级到了 5.x；正好代码中有需要获取Redis集群的所有keys的需求存在；代码就不适用了，修改如下：

POM

由于默认是lettuce，需要手动添加jedis客户端

       <dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-redis</artifactId>
			<exclusions>
				<!-- 不依赖Redis的异步客户端lettuce -->
				<exclusion>
					<groupId>io.lettuce</groupId>
					<artifactId>lettuce-core</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>redis.clients</groupId>
			<artifactId>jedis</artifactId>
		</dependency>

Jedis3.x写法

   public Set<String> keys(String pattern) {
    	Set<String> set = new HashSet<>();
    	JedisClusterConnection jedisClusterConnection = (JedisClusterConnection) redisTemplate.getConnectionFactory().getClusterConnection();
    	//这里是获取jedispool的另外一种方式与上边的pipline可以对比下，两种方式都可以实现
    	Map<String, JedisPool> clusterNodes = jedisClusterConnection.getNativeConnection().getClusterNodes();
    	
    	for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {
    		//获取单个的jedis对象
    		Jedis jedis = entry.getValue().getResource();
    		// 判断非从节点(因为若主从复制，从节点会跟随主节点的变化而变化)，此处要使用主节点, 从主节点获取数据
    		if (!jedis.info("replication").contains("role:slave")) {
    			Set<String> keys = getScan(jedis, pattern);
    			if (keys.size() > 0) {
    				Map<Integer, Set<String>> map = new HashMap<>(8);
    				//接下来的循环不是多余的，需要注意
    				for (String key : keys) {
    					// cluster模式执行多key操作的时候，这些key必须在同一个slot上，不然会报:JedisDataException:
    					int slot = JedisClusterCRC16.getSlot(key);
    					// 按slot将key分组，相同slot的key一起提交
    					if (map.containsKey(slot)) {
    						map.get(slot).add(key);
    					} else {
    						Set<String> set1 = new HashSet<>();
    						set1.add(key);
    						map.put(slot, set1);
    					}
    				}
    				for (Map.Entry<Integer, Set<String>> integerListEntry : map.entrySet()) {
    					set.addAll(integerListEntry.getValue());
    				}
    			}
    		}
    	}
    	return set;
    }

    @SuppressWarnings({ "rawtypes", "unchecked" })
    public Set<String> getScan(Jedis jedis, String key) {
    	Set<String> set = new HashSet<>();
        //扫描的参数对象创建与封装
        ScanParams params = new ScanParams();
        params.match(key);
        //扫描返回一百行，这里可以根据业务需求进行修改
        params.count(1000);
        String cursor = "0";
        
		ScanResult scanResult = jedis.scan(cursor, params);
        //scan.getStringCursor() 存在 且不是 0 的时候，一直移动游标获取
        while (null != scanResult.getCursor()) {
            //封装扫描的结果
            set.addAll(scanResult.getResult());
            if (!"0".equals(scanResult.getCursor())) {
                scanResult = jedis.scan(scanResult.getCursor(), params);
            } else {
                break;
            }
        }
        return set;
    }

Jedis5.x写法

    /**
     * 获取符合条件的key
     * @param pattern 表达式
     * @return
     */
    public Set<String> keys(String pattern) {
    	Set<String> set = new HashSet<>();
    	JedisClusterConnection jedisClusterConnection = (JedisClusterConnection) redisTemplate.getConnectionFactory().getClusterConnection();
        Map<String, ConnectionPool> clusterNodes = ((JedisCluster) jedisClusterConnection.getNativeConnection()).getClusterNodes();// 看源码获取 key就是 host:port格式
		Set<String> nodes = clusterNodes.keySet();
		for (String node : nodes) {
			HostAndPort nodeObj = HostAndPort.from(node);
			try (Jedis jedis = new Jedis(nodeObj.getHost(), nodeObj.getPort())) { // try-with-resources可以自动关闭资源
                String roleInfo = jedis.info("replication");
                if (roleInfo.contains("role:master")) {
                	Set<String> keys = getScan(jedis, pattern);
                	if (keys.size() > 0) {
                        Map<Integer, Set<String>> map = new HashMap<>(8);
                        //接下来的循环不是多余的，需要注意
                        for (String key : keys) {
                            // cluster模式执行多key操作的时候，这些key必须在同一个slot上，不然会报:JedisDataException:
                            int slot = JedisClusterCRC16.getSlot(key);
                            // 按slot将key分组，相同slot的key一起提交
                            if (map.containsKey(slot)) {
                                map.get(slot).add(key);
                            } else {
                            	Set<String> set1 = new HashSet<>();
                            	set1.add(key);
                                map.put(slot, set1);
                            }
                        }
                        for (Map.Entry<Integer, Set<String>> integerListEntry : map.entrySet()) {
                        	set.addAll(integerListEntry.getValue());
                        }
                    }
                }
            } catch (Exception e) {
            	logger.error("redis连接错误：", e);
            }
		}
        return set;
    }


    @SuppressWarnings({ "rawtypes", "unchecked" })
    public Set<String> getScan(Jedis jedis, String key) {
    	Set<String> set = new HashSet<>();
        //扫描的参数对象创建与封装
        ScanParams params = new ScanParams();
        params.match(key);
        //扫描返回一百行，这里可以根据业务需求进行修改
        params.count(1000);
        String cursor = "0";
        
		ScanResult scanResult = jedis.scan(cursor, params);
        //scan.getStringCursor() 存在 且不是 0 的时候，一直移动游标获取
        while (null != scanResult.getCursor()) {
            //封装扫描的结果
            set.addAll(scanResult.getResult());
            if (!"0".equals(scanResult.getCursor())) {
                scanResult = jedis.scan(scanResult.getCursor(), params);
            } else {
                break;
            }
        }
        return set;
    }

如上几句代码修改，搞了一下午，特此记录，以备查看！

问题原因与思路

由于

Map<String, JedisPool> clusterNodes = jedisClusterConnection.getNativeConnection().getClusterNodes();

被修改为：

Map<String, ConnectionPool> clusterNodes = ((JedisCluster) jedisClusterConnection.getNativeConnection()).getClusterNodes();

而 ConnectionPool 类中包裹的 Connection类 没有JedisPool类中包裹的 Jedis类的 info()方法和 scan()方法；

所以我们可以有两个解题思路：

1.使用Connection中的sendCommand 模拟 info()方法和 scan()方法（只是猜想、未实现）;

2.如上文中自己构建 Jedis对象；