使用Pipeline管道技术快速写入百万级别缓存数据

最新推荐文章于 2025-06-28 22:44:52 发布

Jqcode

最新推荐文章于 2025-06-28 22:44:52 发布

阅读量1.9k

点赞数 1

CC 4.0 BY-SA版权

文章标签： redis pipeline 管道技术

本文链接：https://blog.youkuaiyun.com/jqc874789596/article/details/82659381

本篇文章的来源背景是这样的：我需要在数据库中取数据然后写到缓存中，因为业务原因表示设计成的月份表，即一个月的数据都在这张表中，所以数据量很大，我需要在凌晨的时候，用户量少的时候将数据写到缓存中，又因为线上有个发邮件的定时任务在跑，如果我写入缓存时间太长就可能会影响邮件的发送，所以我必须使用一个快速的方法来实现这个任务。

模拟数据

为了模拟效果，我通过存储过程和函数造了2W条左右的数据，部分数据如图所示，写入缓存时，我们以imsi+"_"+app_key作为缓存的key，以imsi+"_"+app_key+"_value"作为缓存的value值。

直接写入的方式

因为是个定时任务，所以方法上用了springboot支持的注解的方式来定时执行任务。因为本篇文章的重点是缓存而并非定时任务，所以关于定时任务的相关信息需要大家自己百度学习，有关定时任务的文章，我后面也会写。

@Scheduled(cron = "0 8 14 * * ?")
	public void redisTest() {
		Jedis jedis = RedisUtils.getJedis();
		LOGGER.info("========程序开始执行========");
		Long startTime = System.currentTimeMillis();
		Integer dataCount = dataInsertRedis.getCount();		//查询数据总数
		List<CatPayMonthProps> data = dataInsertRedis.getData();	//查询全部数据
		Long selectEndTime = System.currentTimeMillis();