Redis批量写入

原文地址：https://blog.youkuaiyun.com/u014078154/article/details/79316430

最近测试redis性能，需要批量向Redis插入1千万条以上的数据，

就简单进行了研究，大概有以下几种方法：

 

一：java程序调用，简单的for循环，通过Jedis的方法，直接插入，

       至于速度，不用看，不用试，根本不行，就不给实现了。

 

二：通过shell脚本，也比较简单，但也是因为要通过port端口的形式，

       连接到redis，速度也是慢的不行，放弃。

 

三：通过redis提供管道，感觉这种方法是最靠谱的，以下是实现：

 

 步骤1：首先简单写一个shell脚本：

 

for((i=1;i<=1000000;i++))
        do
echo "set k$i v$i" >> /tmp/_t.txt
        done

目的是生成一个用批量插入的脚本文件，

 

步骤2：这里linux或者windows上生成的文件不能直接当做redis语句来跑，

                简单来说，就是因为linux，windows和dos的换行并不一样，

                所以需要简单转换一下：

                            转换的方法有好多种：

 

            1：一般Linux发行版中都带有这个小工具，只能把DOS转换为UNIX文件，命令如下：

            # unix2dos dosfile.txt

            上面的命令会去掉行尾的^M符号。（如果机器上没有安装nuix2dos，直接用方法2即可）

            2：用vim，vim是vi的改进版本，使用方式：

            #vim file.txt

            :set fileformat=dos

             ::wq

              一行命令即可，保存退出，

 

 步骤3：就是跑脚本了，通过redis提供的管道--pipe形式，

              cat redisTest.txt | redis-cli -h reids.aliyuncs.com -p 6379 -a xxxx --pipe

              

三步即可，完成redis的批量插入，速度，在2000万条的情况下，生成脚本的速度稍慢，插入的速度还在几分钟，

速度可以说是非常快了~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~