redis 数据迁移

【Redis】Redis Cluster-集群数据迁移 Redis通过对KEY计算hash,将KEY映射到slot,集群中每个节点负责一部分slot的方式管理数据,slot最大个数为16384。 在集群节点对应的结构体变量clusterNode中可以看到slots数组,数组的大小为CLUSTER_SLOTS除以8,CLUSTER_SLOTS的值是16384: clusterStateclusterNode里面保存了节点相关的信息,集群数据迁移信息并未保存在clusterNode中,而是使用了clusterState结构体来保存: clusterState与cl 阅读详情


redis 数据的迁移
	之前使用过备份整个库的方式,现在想着能不能只备份指定的 'key',在网上搜搜

	谷歌搜索:
		migrate some keys from one redis to another

	参考文章:
		https://coderwall.com/p/eclzyg/redis-to-redis-data-copy
			1.ruby 语言适用
			2.作者又写了一个 npm 工具
				https://www.npmjs.com/package/redis-utils-cli

		https://kvz.io/blog/2013/04/16/migrate-redis-data-without-filesystem-access/
		http://www.tothenew.com/blog/copying-redis-database-from-one-server-to-another/
			1.这两篇应该表示的是同一个意思,使用 redis 的主从复制,来备份数据

		https://sorentwo.com/2015/09/15/migrating-redis-data.html
			1.这篇文章比较给力,给出了 4种方法,以及每种方法的限制

		https://stackoverflow.com/questions/23222616/copy-all-keys-from-one-db-to-another-in-redis
			1.使用命令行或脚本,借助 dump 和 restore 命令,一个一个键复制

		https://www.cnblogs.com/zhoubaojian/articles/7866595.html
			1.命令行和脚本方式,同一机器不同库,或不同机器的不同库都可以

		https://github.com/sripathikrishnan/redis-rdb-tools
			1.很给力,直接可以解析 redis 的 .rdb 文件为 json 文件,分析内存里的数据等等

		https://jeremy.wordpress.com/2012/07/05/multiple-redis-instances-on-mac-os-x-with-homebrew/
			1.在 mac 一台机器上,同时运行多个 redis 实例(非常适合本地开发使用)

	总结:
		1.move - 本机的多个库之前迁移
		2.migrate - 可以单个、多个键迁移
		3.dump&restore - 单个键迁移,migrate 内部可能就是这么使用的
		4.主从复制
		5.先备份数据库 rdb,然后覆盖

	我们需要复制指定的键,只能使用 migrate 或 dump&restore,命令行或写脚本的方式

这里给出,综合几篇文章,最后测试成功的 导出 redis 数据的 shell 脚本:

	#!/bin/bash
	# 导出 redis 指定数据
	source_host=localhost
	source_port=6379
	#source_socket=/tmp/redis-1.sock
	source_db=0

	target_host=localhost
	#target_port=6379
	target_socket=/tmp/redis-1.sock
	target_db=0

	i=1;
	redis-cli -h $source_host -p $source_port -n $source_db keys "punch_card*" | while read key
	do
	    echo "Copying 第 $i 个 $key"
	    # redis-cli --raw -h $source_host -p $source_port -n $source_db DUMP "$key" | head -c -1|redis-cli -x -h $target_host -s $target_socket -n $target_db RESTORE "$key" 0
	    redis-cli --raw -h $source_host -p $source_port -n $source_db DUMP "$key" | perl -pe 'chomp if eof' | redis-cli -x -h $target_host -s $target_socket -n $target_db RESTORE "$key" 0
	    ((i++))
	done

注意下:
	测试过程中,有时会出现:
		(error) ERR DUMP payload version or checksum are wrong

	可参考:
		https://github.com/antirez/redis/issues/3348
		https://stackoverflow.com/questions/16127682/how-to-use-redis-dump-and-restore-offline

	开始使用的是 'head -c -1' 命令,发现报错,切换成 perl -pe 'chomp if eof',解决!看其他回答应该是删除最后的换行符之类的,大家有兴趣可以自己研究下!

 

如何在 Redis 中实现数据迁移策略 在 Redis 中实现数据迁移策略有多种方法,取决于你的具体需求,例如迁移的数据量、源和目标 Redis 实例的位置(是否在同一网络中)、以及你对停机时间的容忍度。 阅读详情

相关推荐

来聊聊redis集群数据迁移

redis集群提供16384个slot,我们可以按需分配给节点上,后续进行键值对存储时,我们就可以按照算法将键值对存到对应slot上的redis服务器上:集群节点本质就是通过slots这个数组记录当前节点的所管理的情况,这里我们可以看到slots是一个char数组,长度为char占1个字节,每个字节8位。每个char可以记录8个slot的情况,如果是自己的slot则对应char的某一个位置记录为1:我们以node-1。

禅与计算机程序设计的艺术 1643

Redis学习记录之命令KEY(七)

1、RENAME RENAME key newkey将 key 改名为 newkey 。当 key 和 newkey 相同,或者 key 不存在时,返回一个错误。当 newkey 已经存在时, RENAME 命令将覆盖旧值。可用版本: 1.0.0及以上返回值: 改名成功时提示 OK ,失败时候返回一个错误。 key 存在且 newkey 不存在redis> SET message “hell

1695

如何将redis的数据迁移到另一个redis中?

方案一使用BGSAVE生成 RDB 文件并将其导入到目标 Redis 实例。方案二使用redis-dump和redis-load工具进行更精细的数据库迁移。方案三使用导出并迁移数据。建议使用第一种方案,因为它适合快速的全数据库迁移。如果你希望迁移部分数据,可以使用第二种方案。希望如上措施及解决方案能够帮到有需要的你。

**My Coding Family** 1583

RESTO

RESTORE 在执行反序列化之前会先对序列化值的 RDB 版本和数据校验和进行检查,如果 RDB 版本不相同或者数据不完整的话,那么 RESTORE 会拒绝进行反序列化,并返回一个错误。查找给定键的复杂度为 O(1) ,对键进行反序列化的复杂度为 O(N*M) ,其中 N 是构成 key 的 Redis 对象的数量,而 M 则是这些对象的平均大小。有序集合(sorted set)的反序列化复杂度为 O(N*M*log(N)) ,因为有序集合每次插入的复杂度为 O(log(N))。

weixin_47832121的博客 487

BH1750光强度传感器Stm32f103驱动(已测试ok)

1. 实验:Stm32f103 驱动 bh1750采集光照强度,串口打印采集到的数据。 2. 实验准备器材 开发版:stm32f103c8t6 器件:bh1750 GY-302 开发环境:win10,KILE4 下载程序的软件:FlyMcu.exe 串口调试助手:ComAssistant.exe 3. BH1750 的接线 VCC:5V或3.3V ...

weixin_53329977的博客 8933

Manus通用AI智能体完全使用指南(2025最新版)——从注册到高阶技巧全解析

Manus通用AI智能体完全使用指南(2025最新版)——从注册到高阶技巧全解析

m0_69718028的博客 8122

redis

在 Redis 2.4 版本中,过期时间的延迟在 1 秒钟之内 —— 也即是,就算 key 已经过期,但它还是可能在过期之后一秒钟之内被访问到,而在新的 Redis 2.6 版本中,延迟被降低到 1 毫秒之内。移除给定 key 的生存时间,将这个 key 从『易失的』(带生存时间 key )转换成『持久的』(一个不带生存时间、永不过期的 key )。将 key 原子性地从当前实例传送到目标实例的指定数据库上,一旦传送成功, key 保证会出现在目标实例上,而当前实例上的 key 会被删除。

weixin_67024075的博客 807

Mumax3代码模板:从基础设置到材料参数优化

本文提供了一份详尽的Mumax3微磁学模拟代码模板,从基础网格设置、边界条件到核心材料参数(如钴的Msat、Aex、Ku1)配置与优化均有涵盖。文章深入解析了特征长度计算、初始化方法、弛豫与动力学模拟流程,并分享了并行计算与参数扫描等效率提升技巧,旨在帮助用户快速上手并优化模拟工作流。

moss5的博客 704

redis数据迁移

1.需求 需要将一个redis实例中的部分keys,转移到另一个redis实例 2.迁移方案 2.1 源实例与目标实例版本相同 2.1.1 使用dump命令 #!/bin/bash #redis 源ip src_ip=127.0.0.1 #redis 源port src_port=6392 #redis 目的ip dest_ip=127.0.0.1 #redis 目的port dest_por...

weixin_34320724的博客 1345

CiteSpace关键词聚类图谱含义详细解析

CiteSpace关键词聚类图谱含义详细解析 回顾上一次推文:CiteSpace关键词共现图谱含义详细解析 其中有一句: 当你人工已经可以很容易的进行归纳后,就不需要再利用CiteSpace聚类功能啦。 我们来看一下上次推文做出来的关键词共现图谱: 人工不好归纳!那怎么聚类呢? 此时便可使用CiteSpace的聚类功能啦! 如下所示:我们可以清晰地看到上边的关键词共现网络聚成了一个个不规则区域...

qq_39974284的博客 6万+

最小二乘拟合圆:使用拉格朗日乘子法

在本文中,我们将探讨如何使用拉格朗日乘子法来进行最小二乘拟合,并将其应用于拟合一个空间圆。首先,我们需要定义问题。给定一组二维或三维数据点,我们的目标是找到一个圆,使得这些数据点到圆的距离的平方和最小。为了找到最小值,我们需要计算拉格朗日函数的偏导数,并令其等于零。通过解决优化问题,我们可以找到最佳拟合的圆,以最小化数据点到圆的距离的平方和。其中,(x, y) 是圆心的坐标,r 是圆的半径,(xi, yi) 是数据点的坐标。其中,g(x, y, r) = 0 是约束条件,C 是常数,λ 是拉格朗日乘子。

TechProX的博客 478

Redis 键

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33671935的博客 289

02 - GRACE数据处理步骤简叙

本篇对GRACE数据处理的过程进行了介绍,简单叙述了进行数据各种改正的原因,可以帮助理解GRACE数据处理理论,本文借鉴了多篇优秀博士论文。希望可以对👪有所帮助。

weixin_43339605的博客 3353

Redis 到 Redis 数据迁移同步

使用 CloudCanal 进行 Redis 到 Redis 数据迁移同步,轻松实现端到端的精准数据传输。

Kami‘s home 1306

第五章-AllData集成DataSophon作为数据平台功能

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。全新会员商业版 X 微信群:https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo

AllDataDC的博客 1638

HyperLynx(十九)DDR(二)DDR的地址仿真

(5)设置水平标尺为2ns/div,垂直标尺为500mV/div,如果有必要,可以通过多次仿真,得到一个更加理想的结果。此外,还可以看到信号在高低电平切换时,反射波形基本趋于平缓,许多大的反射切换边缘已减小,这给了我们更大的定时裕量。如果这些DIMM是缓冲过的,则4个DIMM通道是可行的,但因为这是一个无缓冲DIMM,(20)在编辑传输线对话框中,选择“Values”选项卡,改变传输线长度为3in,具体设置如图所示,单击“确定”按钮。(17)为了增加电压摆幅,选择一个比原来的47Ω小的电阻。

小幽余生不加糖 4260

Redis数据迁移

Redis常见的数据迁移方式有以下三种:RDB迁移、AOF迁移、主从复制。   使用RDB和AOF文件可以实现跨网络隔离的数据迁移,但是无法做到增量迁移。主从复制可以实现增量迁移但是无法跨网络环境。另外,在过去对于数据迁移后的校验缺乏良好的手段。  redis-shake 是阿里基于redis-port基础上进行改进的一款产品。它支持解析、恢复、备份、同步四个功能。   redis-shake解决了下面四个问题: 源库目标库版本不一致 为实现平滑迁移,要求能做增量同步 能快速实现多库批量...

小胡子 7741

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Redis数据迁移的多种方法详解

Redis数据迁移是一个常见的操作,但不同的场景需要选择不同的迁移方法。使用MIGRATE命令迁移单个键。使用DUMP和RESTORE命令迁移键。使用BGSAVE和 RDB 文件迁移全量数据。使用SLAVEOF命令进行数据同步。使用redis-cli的--pipe选项批量导入数据。使用SCAN和MIGRATE批量迁移多个键。通过本文的介绍,相信你已经掌握了Redis数据迁移的多种方法,并能够根据实际需求选择最合适的迁移方案。希望这篇文章对你有所帮助!

私聊前往站内信:https://i.youkuaiyun.com/#/msg/chat/weixin_44976692 1万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Redis 数据迁移

redis-shake是阿里云用于Redis数据传输与过滤的开源工具,该工具易于部署,灵活高效。redis-shake的Sync(同步)模式支持全量数据迁移和增量数据迁移;Restore(恢复)模式支持将本地RDB文件中的数据恢复至目标端;Scan模式是使用SCAN命令来获取源端Redis中的Key,然后使用DUMP命令获取Key的值,最终使用RESTORE命令将Key(与其值)恢复至目标端。

weixin_44566795的博客 2019

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Redis 数据迁移的几种方式实践

Redis 数据迁移的几种方式实践

叱咤少帅的博客 6366

redis cluster的数据迁移

整体流程 redis官方文档中提供的数据迁移办法是借助redis-trib脚本,其实严格来说,这个redis-trib并不是redis本体的一部分,它只是官方按照redis设计规范实现的一套脚本集合,帮助用户更方便的使用redis-cluster。 实际上,我们完全可以脱离这个脚本来使用cluster, 或者用其他方式实现这套逻辑,比如搜狐tv的redis运维工具cachecloud里,就用ja...

z69183787的专栏 1254

【redis】数据迁移

一、Redis同一实例的数据库之间迁移数据 命令: 源REDIS:move key db 此命令用于把指定的键从源数据库迁移到目标数据库中 将key为某的数据迁移到数据库1 二、Redis不同实例之间的数据迁移 命令:    源REDIS:dump key          目标REDIS:restore key ttl value 其中ttl代表过期时间,单位:毫秒。0代表不过期 ...

嘻嘻哈哈 624

关于Redis的数据迁移(三种方法)

1、使用宝塔进行数据迁移 1.1、找到Redis的文件存储路径 点击首页软件的redis打开配置界面。 点击下面箭头指向地方就是对应的文件存储地方 其中还要RDB持久化,多久会插入一次,正常是不需要人为去保存一次。 如果想要黑窗口链接到 redis: redis-cli 如果想命令行查找 redis 文件目录如下:CONFIG GET dir 如果需要再次保存则打开黑窗口执行下面:save 1.2、找到持久化文件并下载 将对应的目录在文件中打开并找到dump.rdb 将对应的文件下载

weixin_39171255的博客 8623

如何完成Redis数据迁移?

如何进行Redis数据迁移?如何完成Redis数据迁移?使用keys + move命令实现数据迁移使用keys + migrate命令实现数据迁移合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰...

马靖的个人技术博客 3600

redis键数据迁移

1。 move move key db move命令用于在Redis内部进行数据迁移,,move key db就是把指定的键从源数据库移动到目标数据库中 2。dump+restore dump key restore key ttl value dump+restore可以实现在不同的Redis实例之间进行数据迁移的功能,整个迁移的过程分为两步: 1)在源Redis上,dump命令会将键值序列化...

cangqiong_xiamen的博客 923
上一篇: 在本地 mac 系统配置多个 redis 实例
下一篇: 热门搜索分析
beyond__devil
博客等级 码龄14年 147粉丝 314原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值