redis通过pipe 批量插入数据

最新推荐文章于 2023-09-19 09:20:38 发布

原创

最新推荐文章于 2023-09-19 09:20:38 发布 · 563 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#redis #linux

本文介绍了如何在Linux环境下，通过Redis的pipe功能批量插入20w+条数据。由于线上环境的redis-cli命令未配置，作者首先将其复制到bin目录，并解决了授权问题。使用`redis-cli -a password --pipe`命令结合数据文件实现批量同步，整个过程在2秒内完成。

【背景】
线上的redis缓存中大量数据和数据库对应不上，需要统一同步一次，数据量在20w+左右
了解到redis有一个上传牛逼的方式pipe管道方式
官方说明：（https://redis.io/topics/mass-insert）
在这里插入图片描述

下面是实际操作：

首先发现线上环境
redis-cli命令不支持，最后发现是当前命令没有配置到环境中
把redis的redis-cli 相关内容复制到bin目录下
sudo cp src/redis-cli /usr/local/bin/
可以使用redis-cli命令了
但是执行命令的时候，需要授权
在这里插入图片描述
所以需要加上密码

这样就连接上了
但是我们需要使用的命令，通过官网知道是
cat data.txt | redis-cli --pipe
所以这个命令也是需要带密码认证的
可以使用：
用法：redis-cli [OPTIONS] [cmd [arg [arg …]]]
-h <主机ip>，默认是127.0.0.1
-p <端口>，默认是6379
-a <密码>，如果redis加锁，

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xJTechnology

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

如何高效地向Redis插入大量的数据（推荐）

09-09

在Redis 2.6版本以后，可以通过直接向服务器发送遵循Redis协议的文本文件来实现批量插入，这种方式称为Redis Protocol的直接导入。具体步骤如下： 1. 创建一个文本文件，其中包含一系列Redis命令，例如`SET Key0 ...

在Redis集群中使用pipeline批量插入的实现方法

12-16

由于项目中需要使用批量插入功能, 所以在网上查找到了Redis 批量插入可以使用pipeline来高效的插入, 示例代码如下: String key = "key"; Jedis jedis = new Jedis("xx.xx.xx.xx"); Pipeline p = jedis.pipelined();...

参与评论您还未登录，请先登录后发表或查看评论

Redis运维实践（一）——pipeline批量数据导入

hello congshen

04-10

964

Redis批量数据导入的方式很多，可以通过python脚本解析文本并使用pipeline批量命令的方式实现，也可以通过批量命令文本+pipeline的形式。内容预览 * pipeline简介 * pipeline批量数据导入 pipeline简介 Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤： 1、客户端向服务端发送一个查...

使用redis-cli --pipe快速插入数据

weixin_33860553的博客

11-08

3177

具体实现步骤如下：（参考http://www.cnblogs.com/ivictor/p/5446503.html） 1. 新建一个文本文件redis_commands.txt，包含redis命令 SET Key0 Value0 SET Key1 Value1 ... SET KeyN ValueN 如果有了原始数据，其实构造这个文件并不难，譬如shell，pyth...

redis pipe 批量导入数据

kunpengku

03-29

4345

redis pipe 批量导入数据速度非常快，文本需要支持redis的协议，使用Python生成文件代码如下 delimiter = "\r\n" data = "*3" + delimiter + "$3" + delimiter + "set" + delimiter + "$" + str(len(row[0])) + delimiter + row[0] + delim

【08-Redis大量数据插入】

https://github.com/Wang-Jun-Chao

12-03

1478

有些时候，Redis实例需要装载大量用户在短时间内产生的数据，数以百万计的keys需要被快速的创建。我们称之为大量数据插入(mass insertion),本文档的目标就是提供如下信息：Redis如何尽可能快的处理数据。

Springboot Redis使用pipeline进行批量插入数据优化

进步让人兴奋

08-24

4353

一、前言之前做一个业务，需要把缓存数据存到redis中，一开始使用了for循环，检测后发现数据量一大，就会很慢，1w条数据就需要快2分钟。原始的代码如下： LOG.info("开始写入新增数据缓存"); for (int i = 0; i < addCompList.size(); i++) { AddDataCacheVo addDataCacheVo = new AddDataCacheVo(); CompanyImportVo companyImportVo = addCom

redis批量插入

Great haste makes great waste

04-27

4568

文章目录Redis 批量插入数据逐条插入批量插入 Redis 批量插入数据业务需要，每天要向redis插入千万级别的数据，格式为zset，但是插入数据时发现速度极慢，约为200~300条数据/每秒，这可就不能接受了，这么算下去插入6千万数据得两年。。。官方给出的是写入速度可以达到10w每秒，这相差的可不是一点两点，虽然插入的是zset，怎么滴速度也不能跟官方差这么大吧，我用本机环境测试，发现速...

linux批量执行redis脚本,如何高效地向Redis插入大量的数据（推荐）

weixin_32825955的博客

05-02

1270

最近有个哥们在群里问，有一个日志，里面存的是IP地址(一行一个)，如何将这些IP快速导入到Redis中。我刚开始的建议是Shell+redis客户端。今天，查看Redis官档，发现文档的首页部分(http://www.redis.io/documentation)有一个专门的主题是讲述“Redis Mass Insertion”的，才知道自己的建议很low。官方给出的理由如下：Using a no...

使用Redis Pipeline管道技术，批量导入Redis 500万条记录（借助Mysql生成csv文件）

baiyunxiaoxiao_chen的博客

04-25

1359

本文是基于Python2.7.5版本写的shell脚本，目的是在CentOS7.3上执行Redis Pipeline管道操作命令，以批量导入Redis 500万条记录，下面是详细操作步骤。步骤一：在Mysql5.7上创建一个Stored Procedure，在表demo_data中导入Mysql模拟的500万条记录：登陆Mysql: Mysql -hlocalhost -uroot -p 登陆成功后，切换到要导入数据的数据库实例。然后，创建表demo_data： CREATE T

Redis快速导入与删除

hahahahaoooo的博客

09-19

494

命令时，由于键仍将保留在内存中，因此 Redis 内存使用情况可能会增加。因此，在删除大量键时，建议在删除任务完成后检查内存使用情况，并在需要时手动释放内存。在使用时，应该注意内存使用情况以及删除任务的异步处理。命令的不同之处在于，它将将要删除的键放入一个专门的队列中，Redis 服务器将在后台异步地处理这些删除任务。命令在删除键时不会阻塞服务器，因此可以在大型数据集上使用，而不会导致服务器在删除键时停滞。命令被调用时，键并没有立即从内存中删除，而是通过使用后台线程异步地删除。需要注意的是，在使用。

redis windows版本的使用

weixin_30702413的博客

08-15

181

ServiceStack的redis-windows下载下载新的版本解压到硬盘,使用黑窗口切换到路径后执行 redis-server redis.windows.conf 即可看到redis启动到6379端口将redis-server.exe存在的路径放入系统环境配置中. 打开黑窗口后不用再调整切换到路径,直接执行 redis-server 即可启动....

Redis如何大批量处理数据

hongchenshijie的博客

04-22

2430

情景（面试题）有些时候，Redis实例需要装载大量用户在短时间内产生的数据。该怎么做？分析如果我们直接循环要插入的数据，每一条数据通过set方法插入数据库，这势必会消耗大量的网络连接和耗时。解决方法 1.管道（pipe）就是把n个命令通过一个pipe发送到服务器端，服务器端处理完成以后再返回一个响应结果。而一条一条set需要n次请求n次处理n次响应，而管道只要一次请求n次处理一...

Redis | 管道 —— PipeLine

daobuxinzi的博客

04-24

840

在我们使用 Redis 的时候，通常是使用一条一条的命令来进行操作，比如我们可以执行一个 “set key1 value1” 这样的操作，然后再执行一个 "set key2 value" 这样的操作。Redis 是基于客户端和服务端的模式，当客户端和服务端进行通信的时候，通常会使用 Socket 来进行网络的通信。当我们执行 "set key value" 时，客户端会对服务器发送一个数据包，当我们再次执行 "set key2 value2" 时，客户端又会对服务器发送一个数据包。这样，看起来没有什么太多的

Redis - 管道批量写入数据

一七令

03-16

5259

redis 批量写入大量数据

redission

hnhroot的博客

08-12

8027

Redisson的分布式的==RMapCache==象在基于RMap的前提下实现了==针对单个元素的淘汰机制==。以下是YAML格式的配置文件样本。AnyObject anyObjectA=AnyObject.builder().id("1").name("嬴政").age(22).address("秦朝").build();AnyObject anyObjectA=AnyObject.builder().id("1").name("嬴政").age(22).address("秦朝").build();..

redis-cli 通过管道 --pipe 快速导入数据到redis中

qq_33673359的博客

11-14

3209

最近有个需求，需要把五千万条数据批量写入redis中，方法倒是有很多种！效率最高的就是通过redis-cl管道的方式写入一：先看看命令 cat redis.txt | redis-cli -h 127.0.0.1 -a password - p 6379 --pipe 结构很简单 redis.txt 是你的文件名称后面是你的客户端二：redis.txt 的文件格式 2.1 re...

使用 Redis 管道 --pipe 快速导入数据到redis中

Zzane

08-27

1318

今天运营需要将64w 条数据导入redis。使用接口无疑是会超时只能由技术部进行导入。参考博客链接地址 cat command-test.txt | /usr/local/redis/bin/redis-cli --pipe 一、在此之前你的设备需要先安装 unix2dos centOS 下安装：简单方便 yum -y install dos2unix windows 安装：需下载 dos2unix-7.4.1-win64 压缩包，里边含有4个转化工具。我们只用到unix2dos.exe 二

redis-cli pipe 管道

kunpengku

08-25

4541

cat formattedData.txt | redis-cli -h 10.11.0.71 -p 6385 --pipe #coding=utf-8 import sys import MySQLdb outputFile = "formattedData.txt" delimiter = "\r\n" for line in result: row = [] r

redis hash批量插入数据