使用spy memcached导入大量数据到memcache server中,避免Out Of Memory错误。

最新推荐文章于 2022-04-24 17:40:56 发布

最新推荐文章于 2022-04-24 17:40:56 发布 · 226 阅读

文章标签：

#memcached #thread

Tokyo Tyrant 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了MemcachedClient中set方法的工作原理，该方法为异步操作，通过Future<Boolean>返回值来判断数据是否成功存储。此外，文章还提供了解决大量set操作导致内存溢出的方法。

MemcachedClient的set方法其实是异步的。并不是当set执行完时，数据就已经存在server上了。所以set的返回值是Future<Boolean>，你可以通过这个值来判定是否已经保存到server上了。可以通过以下的代码来确认值已经保存到server了。

Future<boolean> b = client.set("testkey",3600,"value");
boolean done = false;
do{
 Thread.sleep(200);
 done = b.get().booleanValue();
}while(!done);
System.out.println("value has been saved.");

MemcachedClient在本地存在一个队列，这个队列存放着需要set的任务。如果你需要一次调用非常多次的set方法的话，这时候就会发生out of memory的error。解决办法就是调用waitForQueues方法。如下：

    public void testPutBatchContent(){

        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            client.set("testkey" + i, 0, content);
            if (i % 10000 == 0) {
                System.out.println("finished. " + i);
                boolean b = client.waitForQueues(300, TimeUnit.SECONDS);
                System.out.println("finished. " + b);
            }
        }
        boolean b = client.waitForQueues(300, TimeUnit.SECONDS);
        System.out.println("Costs " + (System.currentTimeMillis() - start) + " ms.");
    }

waitForQueues方法会等待队列完全被消费掉。有个参数可以设置timeout时间。我这里是300秒。总共要set10万次，每10000次就让队列消费掉。这样就不会发生out of memory的问题了。