Redis进阶实践之十六 Redis大批量增加数据

一、介绍

          有时候，Redis实例需要在很短的时间内加载大量先前存在或用户生成的数据，以便尽可能快地创建数百万个键。这就是所谓的批量插入，本文档的目标是提供有关如何以尽可能快的速度向Redis提供数据的信息。如果想查看英文原文，地址如下：https://redis.io/topics/mass-insert


二、操作详解
     

           话不多说，直接进入主题了。

          1、使用协议，卢克（Use the protocol, Luke）

                 使用普通Redis客户端的方式执行批量插入的操作并不是一个很好的办法，原因如下：发送一个命令的方式很慢，因为您必须为每个命令都会有往返的时间消耗。虽然可以使用管道模式来操作，但为了批量插入多条记录，您需要在读取回复的同时编写新命令，以确保尽可能快地插入。

                 另外，只有一小部分客户端支持非阻塞 I/O 操作，而且并不是所有的客户端都能够以最大化吞吐量这种有效的方式来解析这些回复。 由于以上这些原因，将大量数据导入Redis的首选方式是生成包含Redis协议的文本文件（原始格式），以便调用插入所需数据所需的命令。

                例如，如果我需要生成一个大型数据集，其中包含数十亿个键：“keyN - > ValueN”，我将创建一个包含如下Redis协议格式的命令的文件：

                 SET Key0 Value0
                 SET Key1 Value1
                 ...
                 SET KeyN ValueN

                 一旦创建了该文件，剩下的操作就是尽可能快地将其提供给Redis。在过去，做法是使用如下的netcat的命令：

                (cat data.txt; sleep 10) | nc localhost 6379 > /dev/null

                然而，这并不是一个非常可靠的方式来执行批量导入，因为 netcat 命令并不会真正知道所有数据何时传输完毕，并且也无法检查发生的错误。在Redis的2.6或更高版本中，redis-cli实用程序支持称为管道的新模式，该模式就是为了执行批量插入而存在的。

                使用管道模式，运行的命令如下所示：

                cat data.txt | redis-cli --pipe

                这将产生类似于这样的输出：

                All data transferred. Waiting for the last reply...
                Last reply recei