RedisCluster使用pipeline批量读取数据

最新推荐文章于 2025-09-08 09:02:02 发布

原创

最新推荐文章于 2025-09-08 09:02:02 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

本文探讨了在Redis Cluster环境中实现批量读取的两种方法：使用hash_tag模式确保数据存储在同一slot，以及通过计算数据所在节点进行分批pipeline处理。介绍了如何通过key计算数据存放的slot位置，并展示了核心代码实现。

Vi_NSN 2017-12-03 21:38:40 7351 已收藏 1
展开
　因为公司的Redis是Cluster的，一共有三台主机，有个需求是同时读取三千条数据，因为是Cluster，所以没办法直接使用mget。
　目前在网上找到的方法有两种，一种是写入时处理，一种是读取时处理。
　先说一下RedisCluster针对每条数据的写入的方法。RedisCluster一共有16384个slot(槽位)，cluster每一个节点分管一部分slot。当有数据写入时，当用户put或者是get一个数据的时候，首先会查找这个数据对应的槽位是多少，然后查找对应的节点，然后才把数据放入这个节点。查找这个数据对应的槽位的方法就是对数据的key取模，即 CRC16(key) mod 16384，得到的结果就是写入数据存放的slot位置。
　但是当要对rediscluster进行mget批量读取的时候，因为是有不同的节点，每个节点管理一部分slot，将导致对存放在不同slot上的数据读取失败。
　如果还想要使用批量读取应该怎么办呢？目前了解到的解决方法有两种，一种是使用hash_tag模式读写。简单说就是使用”{}”来将要hash的key的部分包裹起来，rediscluster写入数据时只会对key中被”{}”包裹部分进行哈希取模计算slot位置。即存入时使用 “a{123}”和”b{123}”是在同一个slot上。这样就可以批量读取存放在同一个slot上的数据。
　第二种方法是在批量读取时，先计算所有数据的存放节点。具体做法是，我们已经知道了rediscluster对数据哈希取模的算法，可以先计算数据存放的slot位置，然后我们又可以很容易知道每个节点分管的slot段。这样，我们就可以通过key来计算出数据存放在哪个节点上。然后根据不同的节点将数据分成多批。对不同批的数据进行分批pipeline处理。

核心代码如下：

/**
* JedisPool和Keys的映射关系
*/
private Map<JedisPool, ArrayList<String>> jedisPoolKeysMap;

/**
* 批量查询数据
*
* @param keys
* @return
*/
public Map<String, Object> getBatch(String... keys) {

// 返回的结果，包括正确的keys的value的集合；和不存在的keys的集合
Map<String, Object> result = new HashMap<>(16);

// 正确的keys的value的集合
Map<String, Map<String, Double>> existResult = new HashMap<>(16);

// 错误的key的集合
Set<String> errorKeys = new HashSet<>(16);

// JedisPool和Keys的映射关系
jedisPoolKeysMap = new HashMap<JedisPool, ArrayList<String>>();

for (String key : keys) {