爬虫入门（七）——Redis

最新推荐文章于 2024-08-07 20:45:24 发布
最新推荐文章于 2024-08-07 20:45:24 发布
阅读量1.1k 收藏 5
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/python_mu/article/details/107252120
版权
本文详细介绍Redis的基本概念、特性及应用场景，涵盖数据类型如String、List、Hash、Set、Zset的使用方法，以及如何通过Python与Redis进行交互。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. Redis介绍

1.1 Redis是什么
  • Redis是一个高性能的，开源的，C语言开发的，键值对存储数据的nosql数据库。
  • NoSQL：not only sql，泛指非关系型数据库：Redis/MongoDB/Hbase Hadoop
  • 关系型数据库：MySQL、oracle、SqlServer
1.2 Redis特性
  • Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用
  • Redis不仅仅支持简单的key-value类型的数据，同时还提供List，set等数据类型
  • Redis支持数据的备份
1.3 Redis的作用

Redis的主要作用：快速存取

1.4 Redis应用场景

点赞/秒杀/直播平台的在线好友列表/商品排行榜/单点登录

1.5 如何使用Redis

官网地址：https://redis.io/

2. Redis的下载和打开

2.1 Redis下载

Redis目前的版本是6.0.5，对于windows系统来说目前只能下载3.0.5版本，然而基础用法都是不变的，这里我们也不必太苛求版本。以下是已经下载的Redis的链接分享，从百度网盘中解压即可：

链接：https://pan.baidu.com/s/1zdYURr-mhhzCO3YGvzrICA
提取码：djh0

2.2 Redis在cmd中如何打开

首先win+R打开运行窗口，在cmd界面cd进入电脑中存放下载好的redis的路径，然后输入 redis-server.exe,显示这个界面则代表成功打开：
在这里插入图片描述

2.3 Redis的连接

另外打开一个cmd界面，依然cd进入redis的存放路径，然后输入redis-cli.exe,出现如下界面则表示成功连接：
在这里插入图片描述
在这个界面下就可以输入Redis命令了！

2.4 Redis数据库简单使用

DBSIZE 查看当前数据库的key数量
keys * 查看key的内容
FLUSHDB 清空当前数据库的key的数量
FLUSHALL 清空所有库的key(慎用)
exists key 判断key是否存在

3. Redis常用五大数据类型

3.1 redis-string

string是redis最基本的类型，一个key对应一个value
在这里插入图片描述
string可以包含任何数据，最大不能超过512M

1. set/get/del/append/strlen

set ---- 设置值
get ---- 获取值
mset ---- 设置多个值
mget ---- 获取多个值
append ---- 添加字段
del ---- 删除
strlen ---- 返回字符串长度

2. incr/decr/incrby/decrby

incr ---- 增加
decr ---- 减少
incrby ----- 制定增加多少
decrby ----- 制定减少多少

3. getrange/setrange

getrange ---- 获取指定区间范围内的值,类似between…and的关系
setrange ---- 代表从第几位开始替换,下脚本从零开始
从0 -1表示全部

3.2 redis-list(单值多value)

List(列表)
列表是简单的字符串列表，按照插入顺序排序，可以添加一个元素列表的头部（左边）或者尾部（右边）
它的底层实际是个链表
在这里插入图片描述

1. lpush/rpush/lrange

lpush/rpush/lrange ---- 从左/从右/获取指定长度
lpush list01 1 2 3 4 5 倒序排列
rpush list02 1 2 3 4 5 正序排列
lrange list01 0 -1 获取list01 中的所有值

2. lpop/rpop

lpop/rpop ---- 移除最左/最右
lpop list01 删除元素5
rpop list01 删除元素1

3. lindex，按照索引下标获得元素（从上到下）

lrange list01 0 -1
lindex list01 1

4. llen,求列表长度

llen list01

5. lrem key

删N个value
lrem list01 2 1 在list01中删除2个1

6.ltrim key

ltrim ---- 开始index结束index,截取指定范围的值后在赋值给key
ltrim list01 0 2 截取list01 从0到2的数据在赋值给list01

7. rpoplpush list1 list2 将list1中最后一个压入list2中第一位

lrange list01 0 -1
lrange list02 0 -1
rpoplpush list1 list2

8. lset key index value

lset list01 0 x 将list02中第一位换成x

9. linsert key before/after

linsert list01b before x php 在x之前加字段php

3.3 redis-Hash

hash是一个键值对集合
hash是一个string类型的field和value的映射表，hash特别适合存储对象
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200710161755223.png
在这里插入图片描述

1. hset/hget/hmset/hmget/hgetall/hdel

设值/取值/设值多个值/取多个值/取全部值/删除值
hset user id 11
hget user id
hmset customer id 11 name juran age 26
hmget customer id name age 只返回相应的值
hgetall customer 返回全部
hdel user id 删除id

2. hlen

求哈希长度
hlen customer

3. hexists key

hexists ---- 在key里面的某个值
存在返回1 ，不存在返回0

4. hkeys/hvals

hkeys students
hvals students

3.4 redis-set(不重复的)

Set(集合)
set是string类型的无序集合在这里插入图片描述

1. sadd/smembers/sismember

sadd/smembers/sismember ---- 添加/查看集合/查看是否存在
sadd set01 1 2 2 3 3 去掉重复添加
smembers set01 得到set01
sismember set01 1 如果存在返回1 不存在返回0

2.scard

scard ---- 获取集合里面的元素个数
scard set01

3.srem key value

srem ---- 删除集合中元素
srem set01 3
SMEMBERS set01 3已经被删除掉

4. srandmember key

srandmembe ---- 随机出几个数
sadd set02 1 2 3 4 5 6 7 8
srandmember set02 2

5. spop key

spop ---- 随机出栈
spop set01

6. smove key1 key2

sadd set03 x y z
smove set01 set03 2 将set01中的2 移动到set03中

7. 数学集合类

sadd set01 1 2 3 4 5
sadd set02 1 2 3 a b
差集
SDIFF set01 set02 返回 4 5 在第一个set中不在第二个set中
交集
SINTER set01 set02 返回 1 2 3
并集
SUNION set01 set02 返回set01 set02 中的值 去掉重复

3.5 redis-Zset

Zset(有序集合)
在这里插入图片描述

1. zadd/zrange

zadd zset01 60 v1 70 v2 80 v3 90 v4 100 v5
zrange zset01 0 -1
带分数返回 withscores

2. zrangebyscore key start end

zrangebyscore key start end----根据开始结束来取值
zrangebyscore zset01 60 70
zrangebyscore zset01 60 (90 表示不包含90
zrangebyscore zset01 60 90 limit 1 2 从第一条开始截取2条

3. zrem key

zrem key value---- 某score下对应的value值,作用是删除元素
zrem zset01 v1

4. zcard/zcount key score区间 /zrank key values

zcard 求zset01 总条数
zcount zset01 60 90 求60-90个数
zrank zset01 v2 返回1 返回对应下角标，从0开始

4. 更多命令

更多Redis命令：http://doc.redisfans.com/

5. Redis与python交互

5.1 redis的安装

在编译器或cmd中输入 pip install redis

5.2 redis在py文件中的简单示例

注意：在编译器中运行同时也需要在cmd中打开Redis(操作步骤见2.2)，否则会报错

import redis

class StringRedis(object):
    def __init__(self):
        self.r=redis.StrictRedis(host='127.0.0.1',port=6379,decode_responses=True)  
        # host和port分别表示连接地址和端口号，这里设置同上即可。默认decode_responses=False是字节型字符，这里改为True表示输出为字符串类型 
        # self.r=redis.Redis()   
    # 设置值    
    def string_set(self,k,v):
        res=self.r.set(k,v)
        print(res)
    
    #获取值
    def string_get(self,k):
        res=self.r.get(k)
        return res
        
if __name__=='__main__':
    s=StringRedis()
    s.string_set('name','python')
    print(s.string_get('name'))
    print(type(s.string_get('name')))
    #输出结果：
    # True 出现True则代表成功连接
    # python
    # <class 'str'>
北木x
关注
python爬虫Redis数据库
dme.的博客
03-23 1352
​ age:18Redis hash 是一个键值(key=>value)对集合。
爬虫日记(34)：爬虫的基本数据库Redis
大坡3D软件开发
04-03 475
前面学习了mongodb数据库，这个数据库有很好的优点，也支持分布式部署，还支持大数据保存，这是一个很好用的数据库。不过，有时候我们在开发爬虫的过程中，会遇到这样一种场景，比如我们去抓取一个新闻网站，如果不断地去网站上抓取所有数据，必然效率低下，另外也会造成别人的网站服务降低，导致各大网站非常讨厌爬虫。肯定这种不断地从原网站下载的方法是不合适的，因此我们必须改变这种做法，从而需要使用redis数据库来解决这个问题。这个又是怎么样说呢？其实这个方法比较常见的方式，比如你去下载网站的数据，可以先缓存起来，然后就
Python爬虫-Redis
有关心情
07-22 1412
Python爬虫-Redis Python爬虫-Redis 前言 启动服务器 启动客户端 数据操作 string 键命令 hash list set zset 发布订阅 主从配置 与python交互 利用redis实战 反思 前言 作为跟MongoDB同样NoSQL阵营的Redis，也具有类似的“直爽快”特性。它本身读取速度快，又提供丰富的数据结构，避免程序员重复造轮子。...
爬虫基础 redis教程
小颜颜6035的博客
09-15 218
redis教程： 概述 redis是一种支持分布式的nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档：http://redisdoc.com/index.html redis使用场景： 登录会话存储：存储在redis中，与memcached相比，数据不会丢失。 排行版/计数器：
10.爬虫与数据库—Redis数据库(含爬虫实战)
qq_40407729的博客
05-25 953
一、Redis环境搭建 二、Redis交互环境的使用 三、Redis-py的使用 四、使用Redis存储管理爬虫数据
爬虫之redis数据库
h1751541643的博客
11-04 381
Redis数据库 一、简介 redis数据库是一个基于内存存储的数据库，所以，redis数据库的访问速度特别快，因此，redis通常被用于做缓存系统，但是，做缓存对于redis来说有点大材小用，redis数据库一般分布式集群，可以提高网站的响应速度。redis数据库的数据存储是通过key-value的形式进行的。 二、redis数据库的优点： 1．redis数据库是完全开源免费的。 2．redis数据库支持多种数据结构，比如：字符串、列表、哈希表、集合（有序集合，无序集合） 3．支持原子操作、支持事务。 4
【网络爬虫】Redis存储
feng_zhiyu的博客
08-26 912
原文见：https://germey.gitbooks.io/python3webspider/content/5.3.2-Redis%E5%AD%98%E5%82%A8.html Redis 是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单，在本节我们介绍一下 Python 的 Redis 操作，主要介绍 RedisPy 这个库的用法。+ 1...
基于Redis分布式爬虫
zhaobig的博客
11-03 3764
分布式爬虫 1） 在爬虫的settings.py中添加下面两句话 # Enables scheduling storing requests queue in redis. SCHEDULER = "scrapy_redis.scheduler.Scheduler" # Ensure all spiders share same duplicates filter through re
Python网络爬虫(二十三)——Redis
止步听风的博客
05-25 314
概述 redis 是一种支持分布式的非关系型数据库，数据是保存在内存中，同时 redis 可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比 memcached 支持更多的数据结构。 redis 和 memcached memcached redis 类型 纯内存数据库 内存磁盘同步数据库 数据类型 在定义value时就要固定数据类型 不需要 ...
Scrapy-Redis分布式爬虫
wujddjdjndn的博客
06-23 2646
当我们了解了Scrapy爬虫框架的用法过后，这些框架都是在同一台主机上运行的，爬取效率比较有限。如果能够用多台主机协同爬取，那么爬取效率必然会成倍增长，这就是分布式爬虫的优势。这里我们就来了解一下分布式爬虫的基本原理，以及 Scrapy 实现分布式爬虫的流程。
Python 用Redis简单实现分布式爬虫
naer_chongya的博客
05-24 1478
本文介绍了如何使用Python和Redis实现分布式爬虫。通过使用Redis的list类型存储URL队列和set类型存储已爬取URL集合，我们可以实现多个进程之间的协同爬取。相较于单机爬取，分布式爬虫可以大大提高爬取效率和稳定性。同时，使用Redis还可以实现爬虫的分布式调度、动态爬虫等高级功能。
Python-基于Redis实现的简单到爆的分布式爬虫
08-12
基于Redis实现的简单到爆的分布式爬虫
分布式爬虫和redis
qq_33726988的博客
08-13 410
分布式爬虫 什么是分布式爬虫 默认情况下scrapy是单机爬虫,只能在一台电脑上运行 因为爬虫调度器当中的queue去重和set集合都是在本机上创建的 其他的计算机无法访问另外一台计算机上的内存的内容 分布式爬虫用一个共同的程序,同时部署到多台电脑上运行 这样可以提高爬虫的速度  实施分布式爬虫 分布式爬虫的前提 1 保证每一台计算机都能够正常执行scrapy命令  能够启动爬虫 ...
爬虫(三) redis&分布式爬虫
QuietHRH的博客
09-25 468
redis redis, 称为内存数据库, 以key-value的形式存放数据, 是一个非关系型数据库 redis 提供类丰富的数据类型, 其有 string list map set sortSet 五种数据类型 redis 的数据类型指的是value的数据类型, key都是String类型的 1. 持久化 RDB (默认打开): 是一种基于快照机制来实现的持久化的方案, 可以把快...
使用 scrapy-redis实现分布式爬虫
热门推荐
LDC，公众号【轻松学编程】
07-15 2万+
Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 pip install scrapy-redis Scrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改) ...
千万级分布式爬虫：Scrapy-Redis 深入解析与实战
最新发布
switch616的博客
08-07 4468
通过以上内容，你可以深入了解 Scrapy-Redis 的分布式结构、环境搭建、源码优化、Redis 队列机制、调度器功能、优先级管理、管道处理以及分布式爬虫的部署与实战。调度器的主要职责是从 Redis 中获取请求并将其分发给爬虫实例，同时将响应结果放回 Redis 中，以便后续处理。: 爬取的数据可以存储在 Redis 中，或者通过 Scrapy 的管道将数据存储到其他数据库中。类是 Scrapy-Redis 提供的自定义爬虫类，支持从 Redis 获取起始 URL，并根据这些 URL 开始爬取。
爬虫之Redis存储
实践求真知
01-16 1800
 一 点睛 RedisPy库提供两个类Redis和StrictRedis来实现Redis的命令操作。 StrictRedis实现了绝大部分官方的命令，参数也一一对应，比如set()方法就对应Redis命令的set方法。而Redis是StrictRedis的子类，它的主要功能是用于向后兼容旧版本库里的几个方法。为了做兼容，它将方法做了改写，比如lrem()方法就将value和num参数的位置互换...
爬虫---Scrapy_redis
weixin_55438199的博客
12-04 437
Scrapy_redis
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值