redis性能测试

最新推荐文章于 2024-11-21 12:45:52 发布
最新推荐文章于 2024-11-21 12:45:52 发布
阅读量561 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： bigdata nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/linfenliang/article/details/39374795
前段时间测试了写文件的性能，实在不咋滴，改测试了下redis的写入性能。

多线程写入：
package com.sides.redis;

import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.concurrent.Callable;

import org.apache.log4j.Logger;

import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.Pipeline;

import com.sides.file.DataFactory;

public class WriteRedisThread implements Callable<Boolean>{
	private static final Logger logger = Logger.getLogger(WriteRedisThread.class);
	private List<Map<String,Object>> dataList;
	private String tableId;
	public WriteRedisThread(List<Map<String,Object>> dataList,String tableId){
		this.dataList = dataList;
		this.tableId = tableId;
	}
	@Override
	public Boolean call() throws Exception {
		Jedis client = null;
		JSONArray dataArr = null;
		try {
			dataArr = JSONArray.fromObject(dataList,DataFactory.jsonConfig);
			client = RedisDao.getClient();
			Pipeline line = client.pipelined();
			Iterator<JSONObject> iter = null;
			for(int i=0;i<9;i++){
				iter = dataArr.iterator();
				while(iter.hasNext()){
					line.lpush(tableId, iter.next().toString());
					
				}
			}
			line.sync();
		} catch (Exception e) {
			logger.warn("when insert data into "+tableId+" exception .", e);
			return false;
		}finally{
			RedisDao.closeClient(client);
		}
		return true;
	}

}


调用：
package com.sides.redis;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;

import org.apache.log4j.Logger;

import redis.clients.jedis.Jedis;

import com.sides.file.DataFactory;

public class WriteMain {
	private static final Logger logger = Logger.getLogger(WriteMain.class);
	public static void main(String[] args) throws InterruptedException, ExecutionException {
		
		List<Map<String,Object>> list = DataFactory.dataList;
		ExecutorService service = Executors.newFixedThreadPool(200);
		
		long t0 = System.nanoTime();
		List<Future<Boolean>> results = new ArrayList<Future<Boolean>>();
		for(int i=0;i<8000;i++){
			Future<Boolean> future = service.submit(new WriteRedisThread(list, "V"+i+"TRIP_DTL"));
			results.add(future);
		}
		logger.info("所有线程已启动，开始最后的阻塞同步");
		for(Future<Boolean> f:results){
			f.get();	//强制同步
		}
		long t1 = System.nanoTime();
		logger.info("耗时:"+(t1-t0)/1000000);
		Jedis client = RedisDao.getClient();
		Set<String> set = client.keys("*");
		for(String s:set){
			logger.info(s);
		}
		logger.info("数据库中KEY数目:"+client.dbSize());
		
		RedisDao.closeClient(client);
		
		RedisDao.destroyPool();
	}

}

redis客户端jedis

package com.sides.redis;

import org.apache.log4j.Logger;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

public class RedisDao {
	private static final Logger logger = Logger.getLogger(RedisDao.class);
	public static JedisPool clientPool;
	static{
		JedisPoolConfig config = new JedisPoolConfig();
//		config.setMaxActive(1500);
		config.setMaxIdle(3600);
		clientPool = new JedisPool(config, "10.10.10.21", 6379);
	}
	public static synchronized Jedis getClient(){
		return clientPool.getResource();
	}
	public static void closeClient(Jedis client){
		if(client!=null){
			clientPool.returnResource(client);
		}
	}
	public static void destroyPool(){
		clientPool.destroy();
	}
}

测试数据生成工厂：
package com.sides.file;

import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import net.sf.json.JsonConfig;

import org.apache.commons.lang.math.RandomUtils;

/****************************************************************************
 * com.sides.file DataFactory.java Created on 2013-12-3
 * @Author: linfenliang
 * @Description:
 * @Version: 1.0
 ***************************************************************************/
public class DataFactory {
	private static final DateFormat dformat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
	public static final List<Map<String,Object>> dataList = initData();
	public static JsonConfig jsonConfig = initjsonconfig();  
	private static final List<Map<String,Object>> initData(){
		List<Map<String,Object>> dataList = new ArrayList<Map<String,Object>>();
		Map<String,Object> map;
		String recvDate = dformat.format(new Date().getTime()+1000*10);
		for(int i=0;i<10;i++){
			map = new HashMap<String, Object>();
			map.put("GATHERTIME", dformat.format(new Date().getTime()+i*1000));
			map.put("ACCSTATUS", "0");
			map.put("OBD_SPEED", RandomUtils.nextInt(255));
			map.put("MAF", nextRandomDouble(0, 20, 2));
			map.put("BASE_STATION", "1823,4207,460,0,37;18431,4207,460,0,25;1822,4207,460,0,25;");
			map.put("BABV", nextRandomDouble(9.6, 13.6, 2));
			map.put("MILAGE", nextRandomDouble(0, 20, 2));
			map.put("FUEL", nextRandomDouble(10, 20, 2));
			map.put("G_FORCE", nextRandomDouble(-1, 1, 2));
			map.put("PID_010C", "");
			map.put("PID_010B", "");
			map.put("PID_010F", "");
			map.put("RECEIVED_TIME", recvDate);
			map.put("REMARK", nextInt(0, 65535));	
			dataList.add(map);
		
	}
		return dataList;
}
	private static final double nextRandomDouble(double startIndex, double endIndex, int scale){
		double source = RandomUtils.nextFloat();
		double differ = endIndex - startIndex;
		double value = source * differ + startIndex;
		double factor = Math.pow(10, scale);  
	    return Math.floor(value * factor + 0.5) / factor; 
	}
	private static final int nextInt(int startIndex, int endIndex){
		double source = RandomUtils.nextDouble();
		int differ = endIndex - startIndex;
		return (int) (source * differ + startIndex);
	}
	private static final JsonConfig initjsonconfig(){
		JsonConfig jsonConfig = new JsonConfig();
        jsonConfig.registerJsonValueProcessor(java.util.Date.class, new JsonDateValueProcessor());  
        jsonConfig.registerJsonValueProcessor(java.sql.Date.class, new JsonDateValueProcessor());
		return jsonConfig;  
	}
	/**
	 * @param args
	 * void
	 * @date 2013-12-3
	 * @version V1.0.0
	 * @author linfenliang
	 */
	public static void main(String[] args) {
//		System.out.println(dataList);
//		for(int i=0;i<20;i++){
//			System.out.println(nextDouble(100, 110,2));
//		}
//		for(int i=0;i<20;i++){
//			System.out.println(nextInt(100, 110));
//		}

	}

}
一个JSON日期处理类：
package com.sides.file;

import java.text.DateFormat;
import java.text.SimpleDateFormat;

import net.sf.json.JsonConfig;
import net.sf.json.processors.JsonValueProcessor;

/****************************************************************************
 * com.sides.pub.util JsonDateValueProcessor.java Created on 2013-9-16
 * @Author: linfenliang
 * @Description: 该类主要将日期类型（java.util.Date与java.sql.Date）格式化为yyyy-MM-dd HH:mm:ss字符串
 * @Version: 1.0
 ***************************************************************************/
public class JsonDateValueProcessor implements JsonValueProcessor {
	private static final DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); 
	/**
	 * 将日期类型（java.util.Date与java.sql.Date）格式化为yyyy-MM-dd HH:mm:ss字符串
	 * @author linfenliang	
	 */
	public JsonDateValueProcessor() {  
	        super();  
	    }  
	
	@Override
	public Object processArrayValue(Object arg0, JsonConfig arg1) {
		return process(arg0);  
	}

	@Override
	public Object processObjectValue(String arg0, Object arg1, JsonConfig arg2) {
		return process(arg1);
	}
	private Object process(Object value) {  
        try {  
            if (value instanceof java.util.Date || value instanceof java.sql.Date) {  
                return dateFormat.format(value);  
            }  
            return value == null ? "" : value.toString();  
        } catch (Exception e) {  
            return "";  
        }  
    }  
}

测试结果：

测试次数耗时(s)方式单KEY插入记录数单KEY每次插入记录数KEY个数线程数内存消耗CPU消耗
1706.232Jedis客户端720010100200约248MB<30%
2231.693Jedis客户端管道方式720010100200约248MB<30%
3178.745Jedis客户端管道方式72007200100200约248MB<30%
4180.466Jedis客户端管道方式720007200010200约248MB<30%
5179.186Jedis客户端管道方式7207201000200约248MB<30%
6180.310Jedis客户端管道方式90908000200约248MB<30%

由于本次测试是在家连接公司linux测试环境机器测试的，不是局域网，可能测试结果不是很准确，测试机器内存2GB，4CPU，公司网速不知。另外此处全部采用 lpush 方式写入数据，执行阻塞式强制同步。

测试结果还是比较满意的，但是内存占用稍有些大，可能与KEY的设计和写入方式有关，稍后会测试hset方式写入，优化下KEY的长度。

这是第二次测试结果，是在公司中测试的，局域网内
测试次数耗时(s)方式单KEY插入记录数单KEY每次插入记录数KEY个数线程数内存消耗CPU消耗
1122.488Jedis客户端720010100200约248MB<30%
223.306Jedis客户端管道方式720010100200约248MB<30%
322.004Jedis客户端管道方式72007200100200约248MB<30%
421.689Jedis客户端管道方式720007200010200约248MB<30%
522.305Jedis客户端管道方式7207201000200约248MB<30%
622.004Jedis客户端管道方式90908000200约248MB<30%


该测试结果令我很满意。
最后一条测试结果为 模拟8000并发，每个终端的数据量为90秒的数据，结果耗时22s。

在实际应用的，目标是10000并发，每个终端数据量为10条，测试耗时为：3.774秒,并且并无数据丢失情况，CPU消耗也不高。
Redis 性能测试
12-16
本文将详细讲解 Redis 性能测试的方法，以及如何使用 `redis-benchmark` 工具进行性能评估。 Redis 性能测试通常涉及并发连接、请求频率、数据处理速度等多个方面。`redis-benchmark` 是 Redis 提供的内置工具，...
Redis性能测试报告
11-03
Redis性能测试报告旨在详细记录和分析Redis中间件的性能，以确保其在实际生产环境中的稳定性和效率。报告涵盖了测试的各个方面，包括测试范围、目标、环境需求、方案以及结果的呈现。 首先，测试范围明确指出是针对...
Redis 在线测试
weixin_30871293的博客
09-27 992
想在线测试的朋友可以进入下面的网址：http://try.redis.io/ 转载于:https://www.cnblogs.com/tianyezhiwai/p/4842642.html
3、redis性能建议
面朝大海
08-07 593
因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留save 900 1 这条规则。 如果Enalbe AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的AOF文件就可以了。代价：1、带来了持续的IO；2、AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要...
4次优化，我把 Redis 性能 “压榨” 到极致！
专属_Smile
05-12 648
本文转载自公众号 https://mp.weixin.qq.com/s/y4q4Hb9A6xay3pAC_LBm5g
redis 压力测试
安静的码农
03-17 518
/usr/local/redis/bin/redis-benchmark --help Usage: redis-benchmark [-h ] [-p ] [-c ] [-n <requests]> [-k ] -h Server hostname (default 127.0.0.1) -p Server port (default 6379) -s Server soc...
redis写操作性能
cleanfield的专栏
11-26 839
redis写操作性能 局域网10000次写操作耗时 单位Byte 单位秒 2 -1376 1.7-2 1377-1800 2.7-2.8 1900-10000 2.9-4 15000-50000 4-6 70000 7.7 ...
Redis集群性能测试分析
10-16
本次实验的目的主要是搭建Redis Cluster和TwemProxy Redis两种集群，分别对其进行性能测试，测试出集群性能的拐点，找出性能的瓶颈有哪些，并对两套集群进行比较，以便于在不同业务场景下择优选择。
redis 性能测试
12-10
在进行Redis性能测试时，通常会通过Jedis来模拟实际业务场景，评估Redis在高并发环境下的响应速度和处理能力。 在“redis 性能测试”这个主题中，我们将深入探讨以下几个关键知识点： 1. **Redis的基础概念**：...
Redis性能测试
10-28
1. Redis性能特性： Redis以其内存存储、单线程模型和丰富的数据结构（如字符串、哈希、列表、集合、有序集合）而闻名，这使得它在读写速度上表现出色。它的性能主要体现在以下几个方面： - 高速读写：由于数据...
redis 性能测试（读写）
12-14
redis 写的操作性能测试代码
微服务Redis循环写入性能提升
入门菜鸟程序员的成长
05-19 854
简介 有微服务的架构不代表性能好，而使用微服务的架构必须要求性能好。这句话不矛盾。矛盾在外面很多人认为微服务架构代表高并发，实际不是。我们有“书面微服务”和“实际微服务”之说。比如说网上大量教人把httpConnection或者是FeignClient的timeout改成30秒就不会超时了？那这要什么微服务呢？微服务解决的到底是什么呢？ 绝大多数人忘记了微服务的本质是用来解决什么问题的。 互联网应用在To C端有6秒之说，即一个小程序/APP应用打开和加载过程>6秒，肯定新用户就不会再去用了，4
mysql 和redis 性能对比_redis和mysql读写性能对比
weixin_39546661的博客
01-19 1897
转自：https://www.cnblogs.com/tianmh/p/9555400.html原文更精彩。写在开始redis是一个基于内存hash结构的缓存型db。其优势在于速读写能力碾压mysql。由于其为基于内存的db所以存储数据量是受限的。redis性能redis读写性能测试redis官网测试读写能到10万左右redis读写能力为2W/smysql读能力5K/s、写能力为3K/s数据上看r...
为写入性能优化：Redis
工作点滴
05-27 4614
从表面上看，众多的分布式数据库似乎涵盖了许多相同的用例。因此，当试图选择一个非关系数据库解决方案时，新手们往往困惑不已。事实上，这些流行的非关系数据库往往偏执于某一方面。有些为了能便于分布到多台机器上而以牺牲数据一致性为代价。其他一些则专注于提高数据读写速度。当你在多个非关系数据库中做选择时，你也必须坚持自己的主见。选择数据库最重要的目标是了解你具体的使用情况。 作为例子，让我们试图明确我们
Redis常见性能问题和解决办法
杨春建的博客
10-09 5108
原文地址：http://blog.itpub.net/26477398/viewspace-1258932/ 1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。 2.Master AOF持久化，如果不重写AOF文件，这个持久化方式对性能的影响是最小的，
Redis 几种写入方式性能对比
dichuai3855的博客
06-05 853
语言平台: Python 2.6 Lib: redis.py (latest) 安装: 参官网 1.StrictRedis import redis r = redis.StrictRedis(host='192.168.0.110', password=pwd, port=6379,db=0) StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令...
一 java 中使用redis 测试Redis的写入性能
weixin_33924220的博客
01-09 585
配置文件： <?xml version='1.0' encoding='UTF-8' ?><!-- was: <?xml version="1.0" encoding="UTF-8"?> --><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://ww...
Redis怎么测试
jdhfjb的专栏
11-21 668
针对请求参数变化不大, 返回的数据跟db中存储的数据很接近的情况, 适合在“里面”缓存数据, 也就是在更新db的同时更新缓存, 这种情况最优的状态下, 只需要读缓存就够了, 不需要跟db直接交互, 能大大缓解db压力。场景1 微信我的状态：app中有缓存 调用app缓存，否则调用接口，接口调用内存缓存 ，不在内存缓存则读取redis缓存，再没有再查询数据库。再次写入缓存，缓存过期时间被更新。删除缓存，校验功能和数据是否正确，再次请求，缓存是否被正确写入，DB 中的数据跟 Redis 是否一致；
互联网利器 Redis内存数据库性能评测
冷月宫主的专栏
01-18 1451
【IT168 专稿】Redis是一款开源的、高性能的键-值存储(key-value store)。它常被称作是一款数据结构服务器(data structure server)。Redis的键值可以包括字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)和 有序集合(sorted sets)等数据类型。 对于这些数据类型，你可以执行原子操作。例如：对字符串进行附加
redis性能测试步骤
最新发布
05-30
<think>好的，我现在需要帮助用户了解Redis在性能测试中的应用及具体测试步骤。用户之前已经询问过Redis的基本概念和在企业中的角色，以及性能测试中的用途，现在他们更关注具体的测试步骤。我需要结合之前的回答和提供的引用内容来构建一个清晰的步骤指南。首先，用户提到了引用[1]中的redis-benchmark工具，这是关键点。我需要详细说明如何使用这个工具，包括参数设置和示例命令。引用[2]中提到了Redis安装后的bin目录下的工具，这里可能需要确认测试前的环境准备步骤，比如确保redis-server和redis-benchmark已正确安装。接下来，用户之前的回答中提到了作为被测对象和测试工具组件的用途，现在需要将这些转化为具体的测试步骤。比如基准测试、容量测试、高可用测试等，可能需要分步骤详细说明每个测试类型的具体操作方法，并引用相应的引用内容。另外，用户可能还需要了解如何分析测试结果，比如使用INFO命令获取指标，或者监控内存碎片问题。引用[3]提到了TLS对性能的影响，虽然用户当前的问题可能不涉及，但需要注意是否需要提及性能优化的考虑因素。需要确保回答结构清晰，分点列出测试步骤，每个步骤包含具体命令和示例，并正确引用提供的引用资料。同时，要避免使用Markdown格式，保持自然的中文口语化，但最终答案需要符合用户的结构要求，使用标题、代码块、公式等。最后，生成相关问题时要基于用户之前的问题和当前内容，比如高可用架构的实现、数据结构的选择、监控工具的使用等，确保问题相关且有深度。</think>### Redis性能测试步骤（软件测试工程师视角） #### 1. **测试环境准备** - 安装Redis服务端和基准测试工具（`redis-server`和`redis-benchmark`位于`/usr/local/redis/bin`目录）[^2] - 启动Redis服务： ```bash ./redis-server /path/to/redis.conf ``` #### 2. **基准测试参数设置** 使用`redis-benchmark`工具模拟并发请求，关键参数： ```bash redis-benchmark -h 127.0.0.1 -p 6379 \ -n 100000 -c 50 \ -t get,set \ --threads 4 ``` - `-n`: 总请求数 - `-c`: 并发客户端数 - `-t`: 测试命令类型 - `--threads`: 多线程模式（提升吞吐量）[^1] #### 3. **测试类型与步骤** | 测试类型 | 执行步骤 | |-----------------|--------------------------------------------------------------------------| | **吞吐量测试** | 观察每秒请求数（QPS），例如：<br>`redis-benchmark -n 100000 -c 100` | | **延迟测试** | 添加`--latency`参数分析响应时间分布：<br>`redis-benchmark --latency` | | **持久化测试** | 启用RDB/AOF后，测试数据写入性能与恢复速度 | | **集群测试** | 对Redis Cluster执行跨节点操作，验证分片性能[^3] | #### 4. **性能指标监控** - 通过`redis-cli`获取实时状态： ```bash redis-cli info stats | grep "instantaneous_ops_per_sec" ``` - 内存利用率计算公式： $$ \text{内存使用率} = \frac{\text{used\_memory}}{\text{maxmemory}} \times 100\% $$ #### 5. **结果分析与优化** - 对比不同参数下的QPS和延迟曲线 - 识别瓶颈（如CPU、网络带宽或内存碎片） - 调整`redis.conf`配置（例如`maxclients`、`timeout`） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值