Redis和IO存储的效率比较(一)

Redis中间件(三):Redis存储原理与数据模型 4.1.3 Redis存储原理与数据模型 阅读详情

前段时间做了一个用户访问记录的收集和分析,在设计方案的时候数据的存储和持久化考虑了两种方式,一种是存储到Redis,然后使用Redis的数据持久化方案完成数据持久化;一种是传统的IO写文件方式,就是将收集到的数据写在服务器的txt文件里,再对文件顶起做一个数据库导入动作。虽然最后架构师直接敲定了采用IO的方式,我还是自己写了一个小小的比较,来对比两种方法的效率。
数据的存储和持久化过程整体不是一篇文章能说清楚的,今天先比较第一步,就是数据的存储。

codis数据存储

codis是一个redis的解决方案,其实可以认为是redis外面包了一层壳子,就是用起来更方便一点,这里就不介绍了。直接上代码。

jedis工具类代码

我们利用jedis建立一个连接池,和数据库连接池是相似的概念。虽然这个文章还不会涉及到连接池的应用,但是后面还是像比较一下并发情况下两种方式的效率比较。
代码如下:

package util;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

/**
 * Created by Vivi on 2017/5/26.
 */
public class CodisConnection {
    // 设定连接池的一些常量值
    private static final String CODIS_URL = "127.0.0.1";
    private static final int CODIS_URL_PORT = 9000;
    private static final int POOL_MAX = 100;
    private static final int IDEL_MAX = 5;
    private static final int WAIT_MAX = 5000;

    private  static JedisPool pool;

    static {
        init();
    }
    public static void init() {
        try {
            JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
            jedisPoolConfig.setMaxTotal(POOL_MAX);
            jedisPoolConfig.setMaxIdle(IDEL_MAX);
            jedisPoolConfig.setMaxWaitMillis(WAIT_MAX);
            jedisPoolConfig.setTestOnBorrow(true);

            pool = new JedisPool(jedisPoolConfig,CODIS_URL,CODIS_URL_PORT);

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    public static Jedis getConn() {
        if(pool == null) {
            return null;
        } else {
            return pool.getResource();
        }
    }
    public static void closeConn(Jedis resource){
        if (pool!= null) {
            pool.returnResource(resource);
        }
    }
}

后面的测试类里我们会使用这个工具类获得和关闭连接。

codis写入数据

    public long codisTime(int n)
    {
        //生成一个任意长度的字符串
        RandomUtil randomUtil = new RandomUtil();
        String s = randomUtil.generateString(n);
        //获取一个jedis连接
        CodisConnection codisConnection = new CodisConnection();
        Jedis jedis = codisConnection.getConn();
        Date start = new Date();
        //循环写入一百次
        for (int i = 0; i < 100; i++)
        {
            jedis.set("solutionCampare1" + i, s);
        }
        Date end = new Date();
        System.out.println("codis写入数据的时间开销是:" + (end.getTime() - start.getTime()));
        //删除测试数据
        for (int j = 0; j < 100; j++)
        {
            jedis.del("solutionCampare1" + j);
        }
        if (jedis != null)
        {
            codisConnection.closeConn(jedis);
        }
        return end.getTime() - start.getTime();
    }

这里用到了一个自己写的工具类,是用来生成一个随机字符串的工具类,也贴在这里:

package util;

import java.util.Random;

/**
 * Created by Vivi on 2017/5/26.
 */
public class RandomUtil
{
    public String generateString(int length)
    {
        String base = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";
        Random random = new Random();
        StringBuilder stringBuilder = new StringBuilder("");
        for (int i = 0; i < length; i++)
        {
            stringBuilder.append(base.charAt(random.nextInt(base.length())));
        }
        System.out.println(stringBuilder.length() + "--------" + stringBuilder.toString());
        return stringBuilder.toString();
    }
}

一次写入的时间开销

运行上面的测试代码,codis的时间开销是:
codis写入100次的时间为:194

IO数据存储

测试代码

IO存储就比较简单了,不需要连接池什么东西的,只是也会用到上面的工具类,测试代码如下:

public long IOTime(int n) throws Exception
    {
        //生成一个任意长度的字符串
        RandomUtil randomUtil = new RandomUtil();
        String s = randomUtil.generateString(n);
        //写入文件一百次
        String fileName = "L:" + File.separator + "IoTest.txt";
        File file = new File(fileName);
        Writer out = new FileWriter(file);
        Date start = new Date();
        for (int i = 0; i < 100; i++)
        {
            out.write(s);
        }
        Date end = new Date();
        out.close();
        System.out.println(end.getTime() - start.getTime());
        return end.getTime() - start.getTime();
    }

运行结果

这个控制台的输出是这样的:
IO的时间开销是:1

初步结果

IO比codis快。。。。很多很多,但是这个结果并不能证明codis效率低,因为考虑到并发的情况,受限于系统资源,codis的优势才会发挥出来。这个结果只能证明codis打开一个链接需要花费时间。下一篇文章写并发情况下的对比。

相关推荐

模拟电子技术课设-压控信号发生器

正弦波产生电路的目的就是使电路产生一定频率和幅度的正弦波,我们一般在放大电路中引入正反馈,并创造条件,使其产生稳定可靠的振荡。由于图2.3-1所示电路中存在RC电路和积分电路两个延迟环节,在实用电路中,将它们“合二为一”,即去掉方波发生电路中的RC回路,使积分运算电路即作为延迟环节,又作为方变三角波电路,滯回比较器和积分运算电路的输出互为另一个电路的输入。接着对各单元电路的工作原理进行了分析,由直流稳压电源电路提供所需电压,文氏振荡器产生正弦波,滞回比较器产生方波,滞回比较器与积分器连接产生三角波。

Sulfurone的博客 5325

StringBuilder的append方法原理

看完这个你还用+号拼接字符串吗?

m0_60256757的博客 2607

Centos7网络配置(设置固定ip)

刚安装完系统,有的人尤其没有勾选自动网络配置的情况下,是访问不了外网的,本机也连不通虚拟机。或者现在有的是动态ip,几次之后启动ip地址就变了,会导致其他软件或程序之前连接配置要重新更改,很麻烦,下面讲解一下如何配置网络,如何设置成固定ip。

个人笔记git:https://gitee.com/tlangp/note.git 8055

Node.js: redis 和 ioredis 的基本使用

Node.js : redis 和 ioredis 的基本使用前言正文redie的安装和使用ioredie的使用封装所需要用到的ioredis方法 前言 此篇内容记录本人编程过程中所遇到的一些问题和解决的办法。内容仅供参考,有些内容引用别处。[非商用,如侵删] 正文 因为项目的内容设计到缓存的知识点,所以在网上查询后决定初步学习一下node中对redis的一些基本操作,只接触到一些基本操作~ redie的安装和使用 github : https://github.com/microsoftarchive

weixin_51158074的博客 9760

企业级防火墙实战:用深信服AF8.0打造安全办公网络(含流控/僵尸防护配置)

本文详细介绍了如何利用深信服AF8.0防火墙构建企业级安全办公网络,涵盖设备初始化、多接入方式配置、三维一体安全防护体系(包括应用控制、僵尸防护和智能流控)以及典型问题排查。通过实战案例和配置模板,帮助IT管理员高效部署和优化网络安全管理,提升企业网络安全防护能力。

weixin_28716443的博客 283

Python+Selenium实现抖音博主批量监控:300+账号实时更新通知(附完整代码)

本文详细介绍了如何使用Python和Selenium构建一个高可用的抖音博主批量监控系统。通过架构设计、Cookie管理、高效轮询与差异检测等核心模块,实现300+账号的实时更新追踪与通知。文章提供了完整的代码实现,并重点探讨了性能优化、异常处理及服务器部署等实战经验,帮助开发者打造稳定、可控的自动化监控解决方案。

weixin_29274969的博客 199

redis模块和ioredis的注意事项

node.js在使用redis的时候有两个库可以选择,一个是redis、另一个是ioredis,我一直以来也没有太大关注这两个库有什么区别。直到今天写代码的时候发现一个令我困惑的问题。redis 库创建的 client 是基于回调的 Redis 客户端。要使用 await 关键字,它必须返回一个 Promise。redis 库的 zrange 方法是基于回调的,不直接支持 Promise。ioredis 库创建的 redis1 客户端支持 Promise,所以可以直接使用 await 来处理异步操作。

hola173841439的博客 1457

Win10环境下VS2019离线部署OnnxRuntime的完整指南

本文提供了在Windows 10系统下,为Visual Studio 2019进行OnnxRuntime离线部署的完整教程。针对网络受限环境,详细讲解了如何获取正确的离线安装包、配置本地NuGet源,并逐步指导项目配置与测试,确保AI模型在C++环境中顺利运行。

weixin_29205061的博客 401

php读取文件和读取redis,本地测试读取redis和普通文件缓存的速度,redis慢一倍?...

本地电脑测试读取redis和普通文件缓存的速度,分别连续读取缓存文件1次、1千次、1万次,缓存内容大小40KB,redis读取速度总比文件缓存速度慢一倍。如果确实如此,是不是在低并发情况下file缓存方式更快点呢?还是我的测试方式有误?...

weixin_33765908的博客 589

【2024年5月备考新增】《2024高项论文精华版(5)项目工作绩效域和度量绩效域》

3、专注于工作过程和能力。③专注于工作过程和能力。1、制定有效的度量指标。2、度量内容及相应指标。3、展示度量信息和结果。4、管理沟通和参与。7、监督新工作和变更。①制定有效的度量指标。②度量内容及相应指标。③展示度量信息和结果。5、基于度量进行诊断。

Else 的博客 1268

Bash Shell 系统巡检脚本

部分安全相关检查需要root权限,建议通过sudo运行完整检查。

老韩的Linux云计算架构师进阶之路 96

吾辈楷模!国人开源的Redis客户端被Redis官方收购了!

参与开源项目除了可以提升自身技术能力,收获项目开发经验之外,还可以让自己保持与开源社区其他优秀开发者之间的联系与沟通,并建立自己的技术影响力,另外参与优秀开源项目的经历也会成为自己求职简历上的一大亮点。作者自己曾表示,自己创建这个开源项目的初衷也很简单,那就是当年在这方面并没有找到一个令自己满意的开源库,于是决定自己动手来打造一个,于是就利用闲暇时间,自己从零开发并开源了 ioredis。所以如果精力允许,利用业余时间来参与或维护一些开源项目,这对技术开发者来说,也是一段难得的经历!

CodeSheep 3912

定位分析RCU stall问题

在编译内核时打开或者在启动参数中增加这样统计信息是在采样周期中收集的。其中number行分别是发生stalled的cpu上的硬中断,软中断,和上下文的切换次数cputime行的前三列分别是硬中断,软中断和任务消耗的cpu时间,单位为ms.最后一个数字是统计的周期时间(ms).因为用户态的任务通常不会引起RCU CPU stalls,所以任务通常是内核任务,这也是为什么只统计system cpu的原因.

happyAnger6的专栏 1996

【redis】redis的多线程和IO多路复用

Redis的单线程主要处理键值对读写,但其他功能如持久化、异步删除由额外线程执行。Redis选择单线程避免上下文切换和线程竞争,利用多路复用技术提高处理多个客户端请求的能力。Redis4.0引入异步删除以减少主线程阻塞。Redis6/7开始使用多IO线程处理网络请求,主线程仍单线程处理命令操作以保证原子性。IO多路复用(如epoll)配合主线程和IO线程协同,提升了Redis的性能。

weixin_44823875的博客 1973

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Redis与IO多路复用

IO多路复用是一种处理并发IO请求的技术,它允许单个线程监视多个文件描述符(file descriptors),以确定哪些文件描述符已经准备好进行IO操作。这项技术的核心在于能够在单个线程中高效地处理多个并发连接,而无需为每个连接创建一个线程。定义:IO多路复用模型允许一个线程处理多个输入/输出通道。当某个通道有数据可读或可写时,该线程会被通知,然后执行相应的操作。提高效率:通过IO多路复用,Redis能够使用一个线程来管理多个客户端连接,减少了线程创建和销毁的开销,提高了资源利用率和系统吞吐量。

1843

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

redis和mongodb的比较

&gt;&gt;RedisRedis的优点:支持多种数据结构,如 string(字符串)、 list(双向链表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基数估算)支持持久化操作,可以进行aof及rdb数据持久化到磁盘,从而进行数据备份或数据恢复等操作,较好的防止数据丢失的手段。支持通过Replication进行数据复制,通过master-slave...

javashareauthor的博客 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

分布式缓存Redis之与Memcached的比较

写在前面  本学习教程所有示例代码见GitHub:https://github.com/selfconzrr/Redis_Learning  由于在项目中并没有使用Memcached,所以在这贴出Memcached的教程,以备不时之需。   http://www.runoob.com/Memcached/Memcached-tutorial.html  Redis的作者Salvatore Sanfi

ZhangRui的博客 2万+

redis持久化存储(一)

redis概述 REmote DIctionary Server(Redis)是一个基于key-value键值对的持久化数据库存储系统。redis和大名鼎鼎的Memcached缓存服务软件很像,但是redis支持的数据存储类型比memcached更丰富,包括strings(字符串),lists(列表),sets(集合)和sorted sets(有序集合)等。 这些数据类型支持push/pop,ad...

wq962464的博客 4万+

redis多级存储及查询

描述 如何设计redis的数据结构,使用redis存储多级关系并快速查询 假设:市是最后一级单位(如果是区县也同理) 1).查询全国的数据? 2).查询四川省的数据? 3).查询成都市的数据? 方案 方案1: 将“context_prefix_国家_省_市”作为key,value保存我们要查询的数据,这样便于保存 example: key ...

Niki20034655的博客 3965

mysql、hbase、redis、clickhouse的优缺点比较

简要的对比差异,后面还需要更详细的分析比较

Tongya1998的博客 7307

Redis为什么速度快:数据结构、存储及IO网络原理总结

Redis的高性能主要得益于其内存存储、优化的数据结构和算法、I/O多路复用技术、单线程模型与非阻塞式I/O以及网络协议与序列化方式等关键技术。持续监控与分析性能瓶颈:定期监控Redis的性能指标,如内存使用率、网络延迟、命令执行时间等,并通过性能分析工具找出性能瓶颈所在,针对性地进行优化。合理配置硬件资源:根据应用的需求和Redis的性能特点合理配置硬件资源,如内存大小、CPU核数、网络带宽等,确保Redis能够充分利用硬件资源发挥最佳性能。

码到三十五 1635

memcache 和Redis 的比较

memcache 和Redis 的比较: 1)性能方面 没有必要过多的关心性能,因为二者的性能都已经足够搞了。由于Redis 只使用单核,而Memcached可以使用多核,所以比较上,平均每一个核上Redis 在存储小数据时比Memcached 性能更高。而在100K 以上的数据中,Memcached 性能要高于Redis,虽然Redis 最近也在存储大数据的性能上进行优化,但是比起Memcach...

weixin_39940206的博客 247

Redis学习——高级篇①

Redis7高级之单线程和多线程(一)

这里有一只小马吖 1508

redis和couchbase的比较

redis和couchbase的比较

1814

Redis IO 模型

某一个就绪就可以直接进行拷贝;但是NIO同一时间仅能监听一个socket,从而会导致。特点: 虽然线程没有阻塞,但是数据未准备好时,完成才可以进行后续已就绪的socket的拷贝。询问数据是否就绪完毕,完毕则返回。若数据没有就绪完成,则进入阻塞状态,若数据没有就绪完成,不会一直阻塞,而是。开启一个线程同时监听多个socket,,甚至会导致CPU的占用量过大)。和NIO相比,IO多路复用同一时间。,但是由于第一个没有就绪,导致。(类似Monitor。就可以直接进行数据拷贝。和select类似,但是。

1 363

redis基础和使用(三)--单线程与IO多路复用

文章目录1 Redis为什么是单线程的1.1 官方解释1.2 Redis单线程优势1.3 Redis 不仅仅是单线程1.4 Redis的性能瓶颈2 IO多路复用2.1 文件描述符和文件句柄2.2 什么是IO多路复用?2.3 Redis的IO多路复用3 多线程IO多路复用3.1 产生背景3.2 Redis多线程实现思路3.3 Redis多线程具体实现 1 Redis为什么是单线程的 1.1 官方解释 Redis官网–>Documentation–>Tutorials & FAQ–>F

aizhupo1314的博客 2495
上一篇: MD5介绍、使用场景和使用中的注意事项
下一篇: IDEA下Spring项目报错-could not autowire. no beans of“” type found
Vi_error
博客等级 码龄13年 10粉丝 34原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值