redis连接数据库与去重代码

最新推荐文章于 2025-12-20 13:10:13 发布

原创最新推荐文章于 2025-12-20 13:10:13 发布 · 125 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #redis

redis 专栏收录该内容

3 篇文章

订阅专栏

该代码段展示了如何连接到Redis数据库，通过配置文件获取host、port、db和password参数。然后定义了一个函数`duplicate_data`，利用Redis的SADD命令检查数据是否已存在（去重），如果数据已存在（返回值0），则打印信息并返回True，否则返回False。

连接数据库

def connect_redis(mode):
    """连接redis."""
    host = config[mode]["host"]
    port = config[mode]["port"]
    redis_db = config[mode]["db"]
    password = config[mode]["pass"]
    return redis.StrictRedis(
        host=host, port=port, db=redis_db, password=password, decode_responses=True
    )

redis_helper = connect_redis('redis_dev')

去重

def duplicate_data(redis_helper, value):
    """duplicate data by redis - set."""
    result = redis_helper.sadd('master_insight', value)
    if result == 0:
        print("---duplicate key---: %s,  pass---" % value)
        return True
    return False

result = duplicate_data(redis_helper, link)