Redis：查询是否包含某个字符/字符串之二

原创已于 2024-08-15 16:07:18 修改 · 1.5k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#redis #数据库 #缓存 #python

于 2024-08-13 20:17:03 首次发布

快速开发同时被 2 个专栏收录

40 篇文章

订阅专栏

Redis

3 篇文章

订阅专栏

上一篇：Redis：查询是否包含某个字符/字符串之一-优快云博客

下一篇：Redis：查询是否包含某个字符/字符串之三-优快云博客

摘要：

要查询数据，就需要遍历key，遍历value，其中包含存储等辅助功能

正文：

一、Python 遍历Redis所有key，并判断value中是否包涵每个字符串

在Python中遍历Redis的所有key，并检查每个key对应的value是否包含特定的字符串，可以使用redis-py库来完成。但是，需要注意的是，直接遍历Redis中的所有key（使用KEYS *）在key数量非常多的情况下可能会导致Redis服务阻塞，因此推荐使用SCAN命令来迭代地遍历key。

以下是一个使用redis-py库和SCAN命令来遍历Redis中所有key，并检查每个key的value是否包含特定字符串的示例代码：

import redis  
  
# 连接到Redis服务器  
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)  
  
# 要搜索的字符串列表  
search_strings = ['example1', 'example2', 'another_string']  
  
# 使用SCAN命令迭代遍历Redis中的所有key  
cursor = '0'  
while cursor != 0:  
    cursor, keys = r.scan(cursor=cursor, match='*', count=100)  
    for key in keys:  
        # 获取key对应的value  
        value = r.get(key)  
        if value:  # 确保value不是None  
            # 检查value是否包含任何一个search_strings中的字符串  
            for search_string in search_strings:  
                if search_string in value:  
                    print(f"Key: {key}, Value: {value}, contains: {search_string}")  
                    break  # 如果已经找到一个匹配的字符串，可以跳出内层循环  
  
# 注意：上面的代码假设所有value都是字符串。如果value是其他类型（如列表、集合等），则需要相应地调整检查逻辑。

请注意以下几点：

连接Redis：确保你已经安装了redis-py库，并且正确配置了Redis服务器的连接信息。
SCAN命令：这里使用了SCAN命令来迭代地遍历key，而不是KEYS *。count参数指定了每次迭代返回的key的最大数量，但实际返回的key数量可能会更少。
检查value：示例代码假设所有的value都是字符串类型。如果value是其他类型（如列表、集合、哈希等），则需要使用相应的Redis命令来获取和检查这些类型的数据。
性能考虑：遍历Redis中的所有key并检查它们的value是一个资源密集型操作，特别是在key数量很多的情况下。请确保这种操作不会在生产环境中对Redis性能造成不利影响。
错误处理：示例代码中没有包含错误处理逻辑。在实际应用中，你可能需要添加适当的错误处理来捕获和处理可能发生的异常，如网络问题、Redis服务器不可用等。

二、需要区分Redis返回的不同数据结构进行后续的遍历查询

在Redis中，不同的数据结构（如字符串、列表、集合、有序集合、哈希表）需要使用不同的命令来遍历或查询。当你从Redis获取数据时，首先你需要知道这个数据是以什么数据结构存储的，然后才能使用相应的命令来进行遍历或查询。

以下是一些基本的数据结构和它们对应的遍历/查询方法：

字符串（String）：
- 字符串是Redis中最基本的数据类型，但它本身不支持遍历，因为它只存储一个值。但是，你可以使用GET命令来获取这个值，然后根据值的类型（如果它是JSON、XML或其他可解析的格式）在客户端进行解析和遍历。
列表（List）：
- 使用LRANGE key start stop命令可以遍历列表中的元素。start和stop是索引值，其中0表示列表的第一个元素。
集合（Set）：
- 使用SMEMBERS key命令可以获取集合中的所有元素，然后你可以在客户端遍历这些元素。
有序集合（Sorted Set）：
- 使用ZRANGE key start stop [WITHSCORES]命令可以遍历有序集合中的元素及其分数。如果你只关心元素，可以省略WITHSCORES选项。
哈希表（Hash）：
- 哈希表存储键值对，但你不能直接遍历哈希表中的所有值或键。你需要使用HGETALL key来获取哈希表中的所有字段和值，然后在客户端遍历这个返回的列表（通常是一个字段名-值对的列表）。

在Python中，你可以使用redis-py库来与Redis进行交互，并根据返回的数据类型进行相应的处理。以下是一个简单的示例，展示了如何根据Redis返回的不同数据结构进行遍历查询：

import redis  
  
# 连接到Redis  
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)  
  
# 假设我们知道key的数据类型  
  
# 列表  
list_key = 'mylist'  
for item in r.lrange(list_key, 0, -1):  # 遍历整个列表，-1 表示最后一个元素  
    print(item)  
  
# 集合  
set_key = 'myset'  
for item in r.smembers(set_key):  
    print(item)  
  
# 有序集合  
zset_key = 'myzset'  
for item, score in r.zrange(zset_key, 0, -1, withscores=True):  
    print(f"Item: {item}, Score: {score}")  
  
# 哈希表  
hash_key = 'myhash'  
for key, value in r.hgetall(hash_key).items():  
    print(f"Field: {key}, Value: {value}")  
  
# 注意：对于字符串，你通常不会遍历它，而是直接获取并使用它  
string_key = 'mystring'  
value = r.get(string_key)  
print(value)  # 或者根据值的类型进行解析和遍历

请注意，上述代码中的decode_responses=True参数确保从Redis返回的数据被解码为Python字符串（而不是字节对象）。这对于处理文本数据非常有用。如果你的数据是二进制数据，你可能需要省略这个参数或相应地处理返回的数据。

在Redis中，常见的数据结构包括字符串（String）、列表（List）、集合（Set）、有序集合（Sorted Set）、哈希表（Hash）等。当从Redis获取数据时，你首先需要知道存储该数据的key对应的数据类型，然后才能使用适当的方法来遍历或查询该数据。

以下是一个Python示例，该示例使用redis-py库连接到Redis服务器，并根据不同的数据类型执行不同的遍历或查询操作：

import redis  
  
# 连接到Redis服务器  
r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)  
  
# 假设我们有以下key和它们对应的数据类型  
# key1: 字符串  
# key2: 列表  
# key3: 集合  
# key4: 有序集合  
# key5: 哈希表  
  
# 函数：根据key的数据类型执行不同的操作  
def handle_data_by_type(key):  
    # 获取key的类型  
    data_type = r.type(key)  
      
    if data_type == 'string':  
        # 对于字符串，直接获取并打印  
        value = r.get(key)  
        print(f"String: {value}")  
    elif data_type == 'list':  
        # 对于列表，遍历并打印每个元素  
        values = r.lrange(key, 0, -1)  # 获取列表中的所有元素  
        for value in values:  
            print(f"List Element: {value}")  
    elif data_type == 'set':  
        # 对于集合，遍历并打印每个元素（注意集合是无序的）  
        members = r.smembers(key)  
        for member in members:  
            print(f"Set Member: {member}")  
    elif data_type == 'zset':  
        # 对于有序集合，遍历并打印每个元素及其分数  
        for member, score in r.zscan_iter(key):  
            print(f"Sorted Set Member: {member}, Score: {score}")  
    elif data_type == 'hash':  
        # 对于哈希表，遍历并打印每个字段及其值  
        for field in r.hkeys(key):  
            value = r.hget(key, field)  
            print(f"Hash Field: {field}, Value: {value}")  
    else:  
        print(f"Unknown data type for key: {key}")  
  
# 示例：处理不同的key  
handle_data_by_type('key1')  # 假设key1是字符串  
handle_data_by_type('key2')  # 假设key2是列表  
handle_data_by_type('key3')  # 假设key3是集合  
handle_data_by_type('key4')  # 假设key4是有序集合  
handle_data_by_type('key5')  # 假设key5是哈希表  
  
# 注意：上面的'key1'到'key5'及其数据类型只是示例，你需要根据实际情况替换它们

请注意以下几点：

我使用了r.type(key)来获取key的数据类型。
对于列表（List），我使用了r.lrange(key, 0, -1)来获取所有元素。
对于集合（Set），我使用了r.smembers(key)来获取所有成员。
对于有序集合（Sorted Set），我使用了r.zscan_iter(key)来迭代成员和它们的分数。这是因为zscan_iter比zrange更高效，特别是当有序集合包含大量元素时。但是，请注意zscan_iter返回的是元组的迭代器，其中每个元组包含（成员，分数）。
对于哈希表（Hash），我使用了r.hkeys(key)来获取所有字段，然后对每个字段使用r.hget(key, field)来获取其值。

请根据你的实际需求调整key和数据结构。

三、将打印结果追加打印到txt

在Python中，如果你想要将打印结果（通常是输出到控制台的文本）追加到txt文件中，你可以使用文件操作来实现这一点。以下是一个简单的示例，展示了如何将打印结果追加到txt文件中：

# 打开（或创建）一个文件用于追加内容，如果文件不存在则创建  
with open('output.txt', 'a') as file:  
    # 假设这是你想要打印到控制台的文本  
    text_to_print = "Hello, World!\n"  
      
    # 首先，你可以将文本打印到控制台  
    print(text_to_print, end='')  # 注意end=''是为了避免在控制台输出额外的换行符  
      
    # 然后，将相同的文本写入（追加）到文件中  
    file.write(text_to_print)  
  
# 注意：使用with语句可以确保文件在操作完成后正确关闭

在这个例子中，open函数以追加模式（'a'）打开（或创建）了一个名为output.txt的文件。这意味着如果文件已经存在，新的内容将被追加到文件的末尾；如果文件不存在，将创建一个新文件。

print函数用于将文本输出到控制台，而file.write方法则用于将文本写入文件。注意，print函数默认会在文本末尾添加一个换行符，但在这个例子中，我们通过设置end=''来避免在控制台输出中添加额外的换行符，以保持与控制台输出的一致性（如果你希望控制台输出和文件输出完全一致，包括换行符的话，可以省略end=''）。

另外，使用with语句可以确保文件在操作完成后被正确关闭，即使在写入文件时发生异常也是如此。这是一种处理文件时推荐的做法。

四、redis r.scan 自动跳过非utf-8的数据

在 Python 中使用 Redis 时，r.scan() 方法通常用于迭代地遍历 Redis 数据库中的键，但它本身并不直接处理数据的编码问题。r.scan() 返回的是键的列表，这些键是字节串（bytes）类型，而不是直接解码为字符串。因此，当你遇到非 UTF-8 编码的数据时，问题通常发生在尝试将这些字节串解码为字符串时。

要自动跳过非 UTF-8 编码的数据，你需要在迭代 r.scan() 返回的键时，对每个键进行解码尝试，并捕获可能发生的 UnicodeDecodeError 异常。如果捕获到该异常，则可以跳过该键或采取其他适当的措施。

以下是一个示例代码，展示了如何在迭代 Redis 键时跳过非 UTF-8 编码的键：

import redis  
  
# 连接到 Redis  
r = redis.Redis(host='localhost', port=6379, db=0)  
  
# 使用 scan 迭代键  
cursor = '0'  
while cursor != 0:  
    cursor, keys = r.scan(cursor=cursor, match='*', count=10)  
    for key in keys:  
        try:  
            # 尝试将键解码为 UTF-8 字符串  
            decoded_key = key.decode('utf-8')  
            # 如果成功解码，则处理该键（这里只是打印出来）  
            print(decoded_key)  
        except UnicodeDecodeError:  
            # 如果解码失败（即不是 UTF-8 编码），则跳过该键  
            print(f"跳过非 UTF-8 编码的键: {key}")  
  
# 此时，所有非 UTF-8 编码的键都已被跳过，程序继续执行

在这个示例中，r.scan() 方法用于迭代 Redis 中的键。对于每个键，我们都尝试使用 .decode('utf-8') 方法将其从字节串解码为字符串。如果解码成功，我们就处理该键（在这个例子中是打印出来）。如果解码失败（即捕获到 UnicodeDecodeError 异常），我们就打印一条消息表示跳过了该键，并继续迭代下一个键。

请注意，这种方法假设你只对 UTF-8 编码的键感兴趣。如果你的 Redis 数据库中存储了多种编码的键，并且你需要根据键的编码来执行不同的操作，你可能需要更复杂的逻辑来确定每个键的编码并相应地处理它们。然而，在大多数情况下，将 Redis 中的键统一为 UTF-8 编码是一个好主意，这可以避免在处理数据时遇到编码问题。

小结

这里面我还有一个问题没有解决，欢迎大家交流

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xac in position 0: invalid start byte

--end---