MySQL数据导入Redis小记

最近在做一些MySQL + Redis结合的工作,其中涉及到了MySQL的数据迁移到Redis的东西,小记一下。

首先,截止2016.11.21,我在Windows环境下都无法用Redis-cli.exe利用pipeline批量插入数据。原因大概是因为字符串等各种格式的问题,同样的命令在Ubuntu的终端下运行良好。Redis版本是Windows开源团队的Redis-x64-3.2.100。地址是MSOpenTech\Redis

Redis 在Windows中的服务端是可以变为Windows服务自启动的,具体命令如下:

redis-server --service-install redis.windows.conf

安装完之后不会自启动,但是可以调用下面命令来进行启动。

redis-server --service-start

导入初期我是直接写了个工具,遍历了MySQL中的所有数据然后插入Redis的,我选择了直接用C#写一个控制台程序,选用的客户端是StackExchange.Redis,然后利用各类的Async进行异步操作(实际上就是使用pipeline),速度还是比较可以的。

后面发布的时候找了一下,Redis本身的客户端可以也利用pipeline来进行批量插入(Mass Insertiong),官方文档(Redis Mass Insertion
h)[http://redis.io/topics/mass-insert],然后结合pipeline,就可以利用脚本将MySQL中的数据转换为Redis-cli可以识别的格式,直接批量插入即可。

在文中,作者给出了示例,用如下的格式进行格式化输入即可:

*<args><cr><lf>
$<len><cr><lf>
<arg0><cr><lf>
<
<think>好的,我现在需要帮助用户解决如何将MySQL数据迁移到Redis的问题。首先,我得回忆一下之前学过的相关知识,以及用户提供的引用内容。用户提到了三个引用,都是关于使用管道方式将MySQL数据快速导入Redis的方法。我需要结合这些信息,给出一个结构清晰、步骤明确的回答。 首先,用户需要具体的迁移方法或工具。根据引用中的内容,主要的方法是使用MySQL的命令行工具结合Redis的管道功能,通过生成特定格式的数据,直接传输给redis-cli。这种方法绕过了中间处理步骤,提高了效率。所以,我应该详细说明这种方法的步骤,包括数据格式化、生成Redis协议格式、使用管道导入等。 然后,我需要确保回答符合用户的要求:结构清晰,逐步解决问题,真实可靠。可能还需要分步骤说明,比如准备数据、格式化、导入等。同时,用户提供的引用中有具体的SQL语句和命令行示例,我需要整合这些内容,给出一个具体的操作流程。 另外,用户可能关心的问题包括如何确保数据正确性、处理大数据量时的效率、不同数据结构的迁移方法(比如哈希、字符串等)。因此,在回答中需要涵盖这些方面,可能还需要提到优化方法,比如使用管道、批量处理等。 还要注意引用标识的正确使用,在相关的地方添加[^1]、[^2]、[^3]。例如,在提到管道输出时引用第一个引用,在说明SQL格式化时引用第二个,命令行示例引用第三个。 接下来,我需要组织回答的结构。可能分为几个步骤:准备数据格式、生成Redis协议、使用管道导入。每个步骤详细说明,并给出代码示例。同时,可以提到注意事项,比如字符集、性能优化等。 最后,生成相关问题,帮助用户进一步了解可能相关的主题,比如性能优化、其他迁移工具、数据一致性检查等。 需要检查是否所有数学公式和独立公式都正确使用了$和$$,但根据问题描述,这里可能不涉及太多数学内容,主要是代码和步骤。不过,如果有涉及变量或代码的地方,确保格式正确。 现在,把这些思路整理成一个连贯的回答,确保符合用户的要求,引用正确,步骤清晰,并提供相关问题。</think>### 如何将MySQL数据高效导入Redis? #### 核心方法:基于管道(Pipe)的批量迁移 通过MySQL命令行生成符合Redis协议的格式数据,直接通过管道传递给`redis-cli --pipe`工具实现高效迁移。这种方法可绕过中间解析环节,速度比逐条插入快10倍以上[^2][^3]。 --- ### 分步实现流程(以哈希表为例) #### 1. **准备SQL查询语句** 创建SQL文件`mysql_to_redis.sql`,格式化数据Redis协议: ```sql SELECT CONCAT( "*4\r\n", '$', LENGTH(redis_cmd), '\r\n', redis_cmd, '\r\n', '$', LENGTH(redis_key), '\r\n', redis_key, '\r\n', '$', LENGTH(hkey), '\r\n', hkey, '\r\n', '$', LENGTH(hval), '\r\n', hval, '\r' ) FROM ( SELECT 'HSET' AS redis_cmd, 'user:balance' AS redis_key, -- Redis键名 username AS hkey, -- 哈希字段 balance AS hval -- 哈希值 FROM user_accounts -- MySQL表名 ) AS t; ``` *注:`*4`表示命令参数数量,对应HSET+键+字段+值[^2]* --- #### 2. **执行数据迁移命令** ```bash mysql -uroot -p密码 数据库名 \ --default-character-set=utf8 \ --skip-column-names --raw < mysql_to_redis.sql \ | redis-cli --pipe ``` - `--skip-column-names`:去除MySQL表头 - `--raw`:保留原始数据格式 - `--pipe`:启用Redis批量导入模式[^3] --- #### 3. **验证结果** ```bash redis-cli HLEN user:balance # 查看哈希表字段数量 redis-cli HGET user:balance "张三" # 查询具体字段值 ``` --- ### 其他数据结构迁移示例 #### 字符串(String) ```sql SELECT CONCAT( "*3\r\n", '$3\r\nSET\r\n', '$', LENGTH(CONCAT('user:', id)), '\r\n', CONCAT('user:', id), '\r\n', '$', LENGTH(JSON_OBJECT('name', name, 'age', age)), '\r\n', JSON_OBJECT('name', name, 'age', age), '\r' ) FROM users; ``` --- ### 关键优化技巧 1. **字符集统一**:MySQLRedis均使用UTF8编码避免乱码 2. **批量提交**:单次管道传输建议控制在1万~10万条数据 3. **网络延迟**:迁移时确保MySQLRedis在同一局域网 4. **数据压缩**:对JSON等文本启用`redis-cli --pipe --compressed` --- ### 替代工具对比 | 工具 | 优点 | 缺点 | |---------------|-----------------------|---------------------| | Redis Data Integrator | 图形化操作 | 商业授权费用高 | | Python脚本 | 灵活控制逻辑 | 速度较慢 | | mysqldump+管道 | 无需额外依赖 | 需手动处理数据格式 | ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值