RedisCluster使用pipeline批量读取数据

最新推荐文章于 2025-03-10 13:14:28 发布

Vi_NSN

最新推荐文章于 2025-03-10 13:14:28 发布

阅读量9.9k

点赞数 3

分类专栏： Redis 文章标签： redis

本文链接：https://blog.youkuaiyun.com/Vi_NSN/article/details/78704587

版权

本文介绍了在RedisCluster环境下，由于数据分布在不同节点，无法直接使用mget进行批量读取的问题。文中提出了两种解决方案：1) 使用hash_tag模式，使相关键存储在同一slot上；2) 计算数据存放节点并分批pipeline处理。核心代码包括getBatch、initJedisNodeMap、getJedisByKey、initSlotHostMap等方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　因为公司的Redis是Cluster的，一共有三台主机，有个需求是同时读取三千条数据，因为是Cluster，所以没办法直接使用mget。
　目前在网上找到的方法有两种，一种是写入时处理，一种是读取时处理。
　先说一下RedisCluster针对每条数据的写入的方法。RedisCluster一共有16384个slot(槽位)，cluster每一个节点分管一部分slot。当有数据写入时，当用户put或者是get一个数据的时候，首先会查找这个数据对应的槽位是多少，然后查找对应的节点，然后才把数据放入这个节点。查找这个数据对应的槽位的方法就是对数据的key取模，即 CRC16(key) mod 16384，得到的结果就是写入数据存放的slot位置。
　但是当要对rediscluster进行mget批量读取的时候，因为是有不同的节点，每个节点管理一部分slot，将导致对存放在不同slot上的数据读取失败。
　如果还想要使用批量读取应该怎么办呢？目前了解到的解决方法有两种，一种是使用hash_tag模式读写。简单说就是使用”{}”来将要hash的key的部分包裹起来，rediscluster写入数据时只会对key中被”{}”包裹部分进行哈希取模计算slot位置。即存入时使用 “a{123}”和”b{123}”是在同一个slot上。这样就可以批量读取存放在同一个slot上的数据。
　第二种方法是在批量读取时，先计算所有数据的存放节点。具体做法是，我们已经知道了rediscluster对数据哈希取模的算法，可以先计算数据存放的slot位置，然后我们又可以很容易知道每个节点分管的slot段。这样，我们就可以通过key来计算出数据存放在哪个节点上。然后根据不同的节点将数据分成多批。对不同批的数据进行分批pipeline处理。

核心代码如下：


    /**
     * JedisPool和Keys的映射关系
     */
    private Map<JedisPool, ArrayList<String>> jedisPoolKeysMap;


    /**
     * 批量查询数据
     *
     * @param keys
     * @return
     */
    public Map<String, Object> getBatch(String... keys) {

        // 返回的结果，包括正确的keys的value的集合；和不存在的keys的集合
        Map<String, Object> result = new HashMap<>(16);

        // 正确的keys的value的集合
        Map<String, Map<String, Double>> existResult =