唯品会 redis-migrate-tool redis 迁移工具翻译

Redis数据迁移-RedisShake redis-shake是阿里云Redis团队开源的用于Redis数据迁移和数据过滤的工具。一、基本功能redis-shake它支持解析、恢复、备份、同步四个功能恢复restore:将RDB文件恢复到目的redis数据库。备份dump:将源redis的全量数据通过RDB文件备份起来。解析decode:对RDB文件进行读取,并以json格式解析存储。同步sync:支持源redis和目的redis的数据同步,支持全量和增量数据的迁移,支持单节点、主从版、集群版之间的互相同步。 阅读详情
vipshop/redis-migrate-tool,是唯品会开发的一个工具,用于在 redis 之间迁移数据。

/*
	最大的坑:
		Mac 上不能迁移,redis_check、redis_testinsert 命令没反应。redis 需要 auth 密码的话,也通不过(费了我不是一点点的时间...)

		配置本地多个 redis 测试
		切换本地多个低版本 redis 进行测试
		... 都没用 ...

	这里再记录一个命令:
		brew switch redis 3.2.3/4.0.11 		// brew 切换 redis 不同版本
 */

依赖:
	automake
	libtool
	autoconf
	bzip2

安装:
	git clone git@github.com:vipshop/redis-migrate-tool.git
	cd redis-migrate-tool
	autoreconf -fvi
	./configure
	make

查看是否安装成功,帮助命令:
	src/redis-migrate-tool -h

运行:
	src/redis-migrate-tool -c rmt.conf -o log -d

警告:
	在运行工具前,确保 'source' redis 服务器,有足够的内存,允许至少一个 redis 生成 rdb 文件。
	如果 'source' redis 服务器,有足够大的内存,允许所有 redis 同时生成 rdb 文件,可以设置 rmt.conf 中 'source_safe: false'

不被支持的 redis 命令:
	不支持以下命令,传播到 'target' redis 服务器,因为这些命令中的键,可能跨越不同的 'target' redis 服务器节点:

	RENAME,RENAMENX,RPOPLPUSH,BRPOPLPUSH,FLUSHALL,FLUSHDB,BITOP,MOVE,GEORADIUS,GEORADIUSBYMEMBER,EVAL,EVALSHA,SCRIPT,PFMERGE

配置:
	配置文件由3部分组成:
		source
		target
		common

	source 和 target 可用配置项
		type - redis 类型,可选值如下: 
			single
			twemproxy
			redis cluster
			rdb file
			aof file

		servers - 组内的 redis 服务器列表。如果 type 是 'twemproxy',则与 twemproxy 配置文件相同。如果 type 是 rdb 文件,这里填写 rdb 文件名。

		redis_auth - 连接 redis 服务器时进行身份验证

		timeout - redis 服务器 读/写 的超时时间(以毫秒为单位),默认为 120000。(注意:目前只有 'source' 配置部分可用)

		hash - hash 函数类型。(注意:只可用于 type 为 'twemproxy'),可选值有:
			one_at_a_time
			md5
			crc16
			crc32(crc32的实现与 libmemcached 兼容)
			crc32a(根据规范纠正crc32实现)
			fnv1_64
			fnv1a_64
			fnv1_32
			fnv1a_32
			hsieh
			murmur
			jenkins

		hash_tag - 双字符串,指定用于 hash 的秘钥部分。例如:{} 或 $$。只要标签中的键相同, hash_tag 就可以将不同的键映射到同一服务器。(注意:只可用于 type 为 'twemproxy')

		distribution - 秘钥分发模式。(注意:只可用于 type 为 'twemproxy')
			ketama
			modula
			random

	common 可用配置项
		listen - 监听地址和端口(name:port 或 ip:port)。默认是:127.0.0.1:8888(redis-migrate-tool,而非 redis-cli)

		max_clients - 监听端口可连接的最大客户端个数。默认是:100

		threads - redis-migrate-tool 可使用的最大线程数。默认是:CPU核心数

		step - 解析请求的步骤。数字越大,迁移越快,但是使用的内存也越多。默认是:1

		mbuf_size - 请求的 Mbuf 大小。默认是:512

		noreply - 布尔类型,是否检查 'target' redis 组回复。默认是:false

		source_safe - 布尔类型,用于保护 'source' redis 组服务器的内存安全。设置为 true,会保证每次、在组内的同一台服务器上,只有一个 redis 来生成 rdb 文件。此外,'source_safe: true' 可能会使用比你设置的线程数,更少的线程。默认是:true

		dir - 工作目录,用来存储文件(例如:rdb 文件)。默认是:当前目录

		filter - 过滤不匹配的 'key'。支持 'Glob' 风格。默认是:NULL
			?
			*
			[ae]
			[^e]
			[a-b]
			\ - 转义特殊字符

状态:
	可以使用 redis-cli 来连接 redis-migrate-tool。监听地址和端口,可以在 'common' 配置块中设置

	连接 'redis-migrate-tool':(注意:该命令同 redis-cli 的命令一样,只是端口不同,得非常注意!!)
		redis-cli -h 127.0.0.1 -p 8888

	info - 显示 Server、Clients、Memory、Group、Stats 状态

	shutdown [seconds|asap]
		作用:
			停止从 'source' redis 的复制
			尝试将 redis-migrate-tool 的缓存数据,发送给 'target' redis
			redis-migrate-tool 停止并退出

		参数:
			seconds - redis-migrate-tool 在退出前,可用于给 'target' redis 发送缓存数据的最大秒数。默认是:10s
			asap - 忽略缓存数据,立即退出

	
检查数据:
	迁移完成后,可以使用 'redis_check' 命令,来检查 'source' 组 和 'target' 组的数据是否一致。默认只检查 1000 个key
		src/redis-migrate-tool -c rmt.conf -o log -C redis_check

	如果想检查更多的 key,使用
		src/redis-migrate-tool -c rmt.conf -o log -C "redis_check 200000"

插入一些 key,用于测试:
	使用 'redis_testinsert' 命令。默认只插入 1000 个key
		src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert"

	如果想插入更多的 key,使用
		src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert 30000"

	如果只想插入'string' 类型的 key,使用:
		src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert tring"

	如果想插入某些指定类型的 key,使用:
		src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert string|set|list 10000"

 

redis服务迁移数据工具--RDM 阅读详情

相关推荐

如何在 Redis 中实现数据迁移策略

在 Redis 中实现数据迁移策略有多种方法,取决于你的具体需求,例如迁移的数据量、源和目标 Redis 实例的位置(是否在同一网络中)、以及你对停机时间的容忍度。

Pmyx_wyh的博客 1060

redis-migrate-tool介绍、使用、详解

目录 摘要: RMT特性: 建议: 1、RMT安装 2、RMT配置文件 2.1、redis到cluster 2.2、cluster集群到cluster集群迁移 2.3、cluster到twemproxy的迁移 2.4、从AOF 和 RDB中恢复数据 3、RMT迁移 4、观察迁移状态 5 RMT检验源集群和目标集群的差异 6 如何完成业务切换? 注意事项: 分为三...

阿拉斯加大闸蟹的博客 5927

Redis迁移-RedisShake工具

本文介绍了使用RedisShake进行Redis数据迁移的步骤和注意事项。首先介绍了安装RedisShake的方法,然后介绍了配置文件中需要修改的部分,包括数据源和目标数据库的设置、管道命令最大数和缓存区大小的调节等。接着介绍了两种迁移方式:Sync模式和Scan模式,并讲解了数据清洗的方法和注意事项。最后提供了官方中文文档和仓库地址,方便读者进一步了解和使用RedisShake。

weixin_43063953的博客 4576

Redis迁移工具

是阿里云Redis&MongoDB团队开源的用于redis数据同步的工具。redis-shake是我们基于redis-port基础上进行改进的一款产品。它支持解析恢复备份同步四个功能。恢复restore:将RDB文件恢复到目的redis数据库。备份dump:将源redis的全量数据通过RDB文件备份起来。解析decode:对RDB文件进行读取,并以json格式解析存储。同步sync。

Wcybaonier 1827

AI+医疗:多模态模型让肺结节诊断准确率突破95%+的实战方案

多模态融合是必由之路:单一影像模型难以突破95%准确率,必须整合临床、生物标志物等多维数据跨模态注意力机制是核心:简单拼接效果差,注意力机制能自动学习各模态权重,提升融合效果临床适配比技术先进更重要:模型输出必须符合医生诊断习惯,提供可解释的决策依据持续学习是长期成功的关键:医疗数据分布不断变化,模型必须具备自适应能力多学科协作是保障:放射科、胸外科、病理科、AI工程师共同参与模型设计与优化。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1024

西门子PLC1200与CB1241模块的Modbus RTU从站配置全流程(附串口调试技巧)

本文详细介绍了西门子S7-1200 PLC与CB1241通信模块实现Modbus RTU从站配置的全流程,包括硬件接线规范、TIA Portal工程组态、通信指令编程及串口调试技巧。通过实战案例和常见错误处理方案,帮助工程师快速搭建稳定的工业通信系统,提升自动化设备的互联互通能力。

weixin_29165725的博客 331

通过migrate命令实现两个redis实例之间的数据迁移

本文详细的讲解了怎样将源服务器的redis实例的key的数据迁移到其他服务器的redis实例,并用实践进行了测试

知道的越多 不知道的就越多 2486

信道估计准则演进:从LS、MMSE到LMMSE的工程权衡

本文深入探讨了信道估计准则的演进历程,从LS、MMSE到LMMSE的工程权衡。通过对比分析三大经典算法的数学本质、工程实现及适用场景,揭示了在计算复杂度、实时性和性能之间的关键取舍。文章结合4G/5G基站项目实战经验,提供了算法选型的三维决策模型和前沿发展建议,为无线通信系统设计提供实用指导。

weixin_29327525的博客 289

Redis在线数据迁移工具redis-migrate-tool详解,轻松实现redis集群之间的数据同步

Server:version: redis-migrate-tool版本号os:操作系统名称multiplexing_api: 多路复用APIgcc_version: gcc版本process_id: redis-migrate-tool的进程idtcp_port: redis-migrate-tool监听的tcp端口uptime_in_seconds: redis-migrate-tool运行的时长。单位秒。

Wcybaonier 4880

重磅!AI实时读取总结微信聊天记录,附MCP协议+智能体配置教程!

【摘要】本文介绍了一套AI实时分析微信聊天记录的解决方案,通过Chatlog+Trae+MCP协议实现智能整理群聊信息。Chatlog作为开源工具本地解析微信数据,确保隐私安全;Trae提供AI分析能力,支持自然语言处理。操作步骤包括:1)下载运行Chatlog并启动HTTP服务;2)安装Trae配置MCP协议;3)创建智能体设置提示词。该方案虽需初始配置,但能有效解决群聊信息过载问题,自动提炼关键内容,避免有价值信息被淹没。文中提供了详细教程链接和网盘资源。

puyihuan的博客 1万+

GAMES101:MacOS作业环境搭建

查看gcc/clang的位置产看gcc/clang的版本1.1.2 安装cmake。

weixin_38844255的博客 719

详解Redis 迁移工具redis-shark4

简介RedisShake 是一个用于处理和迁移 Redis 数据的工具,它提供以下特性:Redis 兼容性:RedisShake 兼容从 2.8 到 7.2 的 Redis 版本,并支持各种部署方式,包括单机,主从,哨兵和集群。云服务兼容性:RedisShake 与主流云服务提供商提供的流行 Redis-like 数据库无缝工作,包括但不限于:阿里云-云数据库 Redis 版阿里云-云原生内存数据...

qq_34692500的博客 3809

对CryptoDriver里密钥格式定义的探索(1)

一入网络安全才发现深似海,传统汽车MCU码农转型之路异常艰难。在CP AUTOSAR中的CryptoDriver SWS对密钥格式的需求来源于RFC,其中要求了RSA、ECC、SHE等key material的格式。再往下看,我就有些迷糊了,例如关于RSA Private Key的OCTEE STRING格式根据IETF RFC8017,Public Key又得根据RFC5280,完全不得其解。所以今天先从生成密钥对,并对其进行解析开始,一步一步拆解。

认真搞搞汽车MCU 531

Redis(开发与运维):08---键迁移(move、dump、restore、migrate)

键迁移概述: 键迁移就是把数据由一个Redis迁移到另一个Redis(例如从生产环境迁移到测试环境),或者在数据库之间进行迁移 键迁移有三种方式:move、dump+restore、migrate 下面是三种方式的比较,建议使用migrate: 一、move move key db 功能:将参数所指的key从当前源数据库迁移到指定的数据库中 这个命令是在单个Redis内部进行是用户具有迁移 这个命令在实际生产环境中不建议使用 二、dump+restore dump k..

董哥的黑板报 1743

ubuntu下编译qtwebengine

ubuntu qtwebengine

tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly 1464

【SemiDrive源码分析】【X9芯片启动流程】11 - freertos_safetyos目录Cortex-R5 DIL2.bin 引导程序源代码分析

【SemiDrive源码分析】【X9芯片启动流程】11 - freertos_safetyos目录Cortex-R5 DIL2.bin 引导程序源代码分析

|~~~热爱生活、努力学习的小伙汁~~~| 2113

Redis(二十二):Redis迁移工具

1. Redis-shake 2. Redis-migrate-tool 3. Redis-full-check 1. Redis-shake 1.1 简介 redis-shake是阿里云Redis&MongoDB团队开源的用于redis数据同步的工具。redis-shake是我们基于redis-port基础上进行改进的一款产品。它支持解析、恢复、备份、同步四个功能。 恢复restore:将RDB文件恢复到目的redis数据库。 备份dump:将源red...

蓬莱道人的博客 3116

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Redis数据迁移工具redis-migrate-tool使用教程

Redis数据迁移工具redis-migrate-tool使用教程 1. 项目介绍 redis-migrate-tool(简称RMT)是一款专为Redis设计的集群数据迁移工具,适用于在不同版本或不同环境之间的数据同步。它提供了高效、安全的数据迁移方案,使得在不同Redis集群之间进行数据迁移变得更加简单和可靠。 主要特性 快速:多线程设计,基于Redis复制机制,迁移速度快。 实时迁移:迁移过...

gitblog_00433的博客 1573

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Redis-RedisShake数据迁移工具

在实践中,带有过期时间的 Key 一般认为是允许不一致的,不会影响业务,所以可以仅校验不带有过期时间的 Key 数量是否一致。如下所示,应当分别计算源端和目的端的。如果 Key 带有过期时间,会导致 Key 数量不一致。

Ddddzz_的博客 744

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

redis数据迁移工具竞品对比分析

的组合方案,既可保证迁移完整性,又能实现平滑切换。(基于16核32GB环境,迁移100GB数据)根据实际需求选择工具,建议生产环境采用。

zfj321的博客 738

Redis-shake 数据迁移工具

redis-shake 是 Redis 数据迁移和数据过滤的工具。2、使用容器部署两个Redis测试实例。1、下载安装redis-shake。5、执行redis数据库迁移。3、源端创建测试数据。4、创建迁移配置文件。

IT 7911

初学乍练 Redis:使用 Redis-Migrate-Tool 做 Redis 在线数据迁移

使用 redis-migrate-tool 做 Redis 在线数据迁移

wzy0623的专栏 6088

redis数据库迁移只需一条命令

工作中有迁移redis数据库的需求,特此记录 两台机器只要可以互通就可以实现迁移。本人是用两台阿里云机器测试,亲测可用 主要是利用redis自带的命令 migrate ,该方法有缺陷,具体可以自行搜索。 命令: redis-cli -n 本机库下标 keys '*' | xargs -I '{}' redis-cli -n 本机库下标 migrate 目标IP 目标端口 '' 目标库下标 10000 COPY auth 密码 keys '{}' 其中auth是需要远端库的redis密码,如果没有密码直接将

Rouemm的博客 1502

Redis迁移工具(.redis-migrate-tool) 教程

**Redis-Migrate-Tool** 是由唯品会开发的一款高效且稳定的Redis数据迁移工具。它支持在线迁移,可以在不停服的情况下,将数据从一个Redis实例迁移到另一个,包括但不限于主从切换、版本升级、集群转换等场景。该工具具有以下特点: - 在线迁移:在业务无感知的情况下完成数据迁移。 - 安全可靠:提供断点续传和数据一致性校验功能。 - 灵活配置:支持多种迁移策略和参数定制。 #...

gitblog_00835的博客 1124

redis-migrate-tool数据迁移工具测试

Redis redis-migrate-tool redis迁移

Database operation and maintenance 1721

redis实战 migrate异常NOAUTH Authentication required.

当redis cluster集群设置密码的时候,使用migirate需要加上密码,否则会报如下异常: (error) ERR Target instance replied with error: NOAUTH Authentication required. redis在3.0之前是不支持migrate带有password的,在3.0之后可以在migrate中加入auth参数来做权限校验 12...

超人不会飞 3942
上一篇: 服务器 redis 被入侵
下一篇: canvas跨域完美解决,微信头像解决跨域
beyond__devil
博客等级 码龄14年 147粉丝 314原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值