Spring Boot Redis 序列化方案的选择!

【Redis优化】SpringDataRedis序列化方式对比 建议对key和value都使用StringRedisSerializer序列化器(通过StringRedisTemplate自动装配)进行处理,并手动实现数据的序列化与反序列化。 阅读详情

Redis的使用越来越广泛,当遇见性能瓶颈时,我们应该如何去解决呢?

01 Spring Boot Redis

Spring Boot Data Redis给我们提供了即插即用的体验,大部分默认配置已经满足了我们的需求,而其中序列化方案选择的是原生的JdkSerializationRedisSerializer

1.1 RedisTemplate.java

if (defaultSerializer == null) {

    defaultSerializer = new JdkSerializationRedisSerializer(
            classLoader != null ? classLoader : this.getClass().getClassLoader());
}

当然,我们也可以选择Spring Boot Data Redis的其他序列化方案进行配置。

1.2 RedisSerializer的实现

 

在此基础上,我们可以自定义我们自己的序列化方案。

02 自定义JSON序列化方案

2.1 FastJsonRedisSerializer.java

public class FastJsonRedisSerializer<T> implements RedisSerializer<T> {
    private FastJsonConfig fastJsonConfig = new FastJsonConfig();
    private Class<T> type;

    public FastJsonRedisSerializer(Class<T> type) {
        this.type = type;
    }

    public FastJsonConfig getFastJsonConfig() {
        return fastJsonConfig;
    }

    public void setFastJsonConfig(FastJsonConfig fastJsonConfig) {
        this.fastJsonConfig = fastJsonConfig;
    }

    @Override
    public byte[] serialize(T t) throws SerializationException {
        if (t == null) {
            return new byte[0];
        }
        try {
            return JSON.toJSONBytes(
                    fastJsonConfig.getCharset(),
                    t,
                    fastJsonConfig.getSerializeConfig(),
                    fastJsonConfig.getSerializeFilters(),
                    fastJsonConfig.getDateFormat(),
                    JSON.DEFAULT_GENERATE_FEATURE,
                    fastJsonConfig.getSerializerFeatures()
            );
        } catch (Exception ex) {
            throw new SerializationException("Could not serialize: " + ex.getMessage(), ex);
        }
    }

    @Override
    public T deserialize(byte[] bytes) throws SerializationException {
        if (bytes == null || bytes.length == 0) {
            return null;
        }
        try {
            return (T) JSON.parseObject(
                    bytes,
                    fastJsonConfig.getCharset(),
                    type,
                    fastJsonConfig.getParserConfig(),
                    fastJsonConfig.getParseProcess(),
                    JSON.DEFAULT_PARSER_FEATURE,
                    fastJsonConfig.getFeatures()
            );
        } catch (Exception ex) {
            throw new SerializationException("Could not deserialize: " + ex.getMessage(), ex);
        }
    }
}

当然,这个是基于fastjson的序列化方案,不仅提供了相比于JDK序列化更小的体积,序列化和反序列化的速度上也更快。

03 性能对比(基准)

JDK、FastJson、FST、Kryo测试结果如下

原生JDK序列化方案[序列化100000次]耗时:2160 ms, 大小 44000000
原生JDK序列化方案[序列化100000次]耗时:1406 ms, 大小 44000000
FastJson序列化方案[序列化100000次]耗时:679 ms, 大小 18800000
FastJson序列化方案[序列化100000次]耗时:289 ms, 大小 18800000
FST序列化方案[序列化100000次]耗时:273 ms, 大小 10400000
FST序列化方案[序列化100000次]耗时:130 ms, 大小 10400000
Kryo序列化方案[序列化100000次]耗时:498 ms, 大小 14000000
Kryo序列化方案[序列化100000次]耗时:215 ms, 大小 14000000

04 总结

FST和Kryo提供了更小的体积和更快的序列化速度,比Fastjson更有性能优势。但是需要提前将需要序列化的对象进行register,这增加了编码难度。而Kryo线程不安全,更需要进行处理,比如通过KryoPool进行池化处理。

通过更换序列化方案,可以解决Redis IO压力过大的问题,提升性能。

05 外话

Dubbo的项目中提供了大量的序列化方案,在IO传输中体积小,速度快,所以在微服务领域比Spring Cloud更具有性能优势。我们在实现序列化是可以参考以下Dubbo的源码进行便携,毕竟千锤百炼的代码很有借鉴价值。

比如,Dubbo在FST的创建时,会对需要序列化的对象进行 registerClass, 这会显著的增强性能。而在使用Kryo时,不仅register序列化的对象,还需要针对基本类型进行register。

FST 本身已经对基本类型进行注册了,所以FST在易用性上比Kryo更有优势。

5.1 FstFactory.java

    public FstFactory() {
        SerializableClassRegistry.getRegisteredClasses().keySet().forEach(conf::registerClass);
    }

5.2 Kryo.java

 public Kryo create() {
        if (!kryoCreated) {
            kryoCreated = true;
        }

        Kryo kryo = new CompatibleKryo();

        // TODO
//        kryo.setReferences(false);
        kryo.setRegistrationRequired(registrationRequired);

        kryo.addDefaultSerializer(Throwable.class, new JavaSerializer());
        kryo.register(Arrays.asList("").getClass(), new ArraysAsListSerializer());
        kryo.register(GregorianCalendar.class, new GregorianCalendarSerializer());
        kryo.register(InvocationHandler.class, new JdkProxySerializer());
        kryo.register(BigDecimal.class, new DefaultSerializers.BigDecimalSerializer());
        kryo.register(BigInteger.class, new DefaultSerializers.BigIntegerSerializer());
        kryo.register(Pattern.class, new RegexSerializer());
        kryo.register(BitSet.class, new BitSetSerializer());
        kryo.register(URI.class, new URISerializer());
        kryo.register(UUID.class, new UUIDSerializer());
        UnmodifiableCollectionsSerializer.registerSerializers(kryo);
        SynchronizedCollectionsSerializer.registerSerializers(kryo);

        // now just added some very common classes
        // TODO optimization
        kryo.register(HashMap.class);
        kryo.register(ArrayList.class);
        kryo.register(LinkedList.class);
        kryo.register(HashSet.class);
        kryo.register(TreeSet.class);
        kryo.register(Hashtable.class);
        kryo.register(Date.class);
        kryo.register(Calendar.class);
        kryo.register(ConcurrentHashMap.class);
        kryo.register(SimpleDateFormat.class);
        kryo.register(GregorianCalendar.class);
        kryo.register(Vector.class);
        kryo.register(BitSet.class);
        kryo.register(StringBuffer.class);
        kryo.register(StringBuilder.class);
        kryo.register(Object.class);
        kryo.register(Object[].class);
        kryo.register(String[].class);
        kryo.register(byte[].class);
        kryo.register(char[].class);
        kryo.register(int[].class);
        kryo.register(float[].class);
        kryo.register(double[].class);

        for (Class clazz : registrations) {
            kryo.register(clazz);
        }

        SerializableClassRegistry.getRegisteredClasses().forEach((clazz, ser) -> {
            if (ser == null) {
                kryo.register(clazz);
            } else {
                kryo.register(clazz, (Serializer) ser);
            }
        });

        return kryo;
    }

 

SpringBoot应用XSS防御实战:从全局过滤到CSP的完整解决方案 跨站脚本攻击(XSS)是Web应用开发中常见的安全威胁,其原理是攻击者通过注入恶意脚本,利用用户对网站的信任在浏览器端执行。防御XSS的核心技术价值在于构建纵深安全体系,保护用户数据与系统信誉,是满足安全合规要求的基础。在工程实践中,防御需覆盖输入验证、输出编码、内容安全策略等多个层面。对于基于SpringBoot框架的Java应用,开发者需结合Servlet Filter、Spring AOP、Jackson序列化等组件,实施从全局到局部的组合防御策略。本文聚焦SpringBoot环境,详细解析如何通过全 阅读详情

相关推荐

ThinkPHP批量插入性能优化:原生SQL vs saveAll方法

数据库批量插入是Web开发中的常见需求,特别是在电商系统、消息推送等场景下。ORM框架虽然提供了便捷的saveAll方法,但在处理大批量数据时性能往往成为瓶颈。原生SQL通过减少ORM层开销、利用数据库引擎的批量优化机制,可以显著提升插入效率。以ThinkPHP为例,实测显示原生SQL方式比saveAll快5倍以上,特别适合数据导入、日志记录等高并发写入场景。合理使用分块处理、事务控制和预处理语句等技术,可以在保证数据安全的同时最大化吞吐量。

diejiankuai3444的博客 507

redis不同序列化方式性能对比

Redis的value序列化方式一般有两种:JSON方式和JDK方式 有以下几个序列化工具类: 第一次使用的是JDK方式进行测试 使用jdk方式需要pojo类实现Serializable接口 public void addByJDK() { //随机生五万条消息的一个方法 List<User> list = randomUser(); ...

gc都收不走的咸鱼 2640

逆向实战:TikTok X-Gorgon算法解析与Unidg补环境技巧

本文详细解析了TikTok X-Gorgon算法的逆向工程全流程,包括参数定位、变种RC4算法还原及Unidbg补环境技巧。通过动态调试与静态分析相结合,揭示了X-Gorgon的生成逻辑和加密细节,为移动安全研究提供了实用指南。

weixin_28568819的博客 696

StringRedisTemplate和RedisTemplate序列化对比

为了节省内存空间,我们并不会使用JSON序列化器来处理value,而是统一使用String序列化器,要求只能存储String类型的key和value。当需要存储Java对象时,手动完成对象的序列化和反序列化。Spring提供了一个StringRedisTemplate类,它的key和value的序列化方式默认就是String方式,就不需要我们自己自定义了。"@class": "com.example.redis.Pojo.User",过长会带来额外的内存开销。那就需要重新自定义序列化方式,但是。

qq_66229668的博客 412

Autosar Davinci Configurator新建工程以及导入DBC和CDD

Autosar Davinci Configurator新建工程前言一、Autosar Davinci Configurator新建工程二、Autosar Davinci Configurator导入DBC和CDD1.引入库2.读入数据总结 前言 如何用 DavinciCFG 新建工程,以及导入DBC和CDD文件。 一、Autosar Davinci Configurator新建工程 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、Autosar Davinc

别再跑偏了的博客 1万+

ovs实现lb负载均衡

负载均衡器的实现原理是通过硬件或软件设备将客户端访问流量根据转发策略分发到多个服务器或设备上,以确保系统的负载均衡。二层负载均衡‌:使用虚拟MAC地址方式,根据OSI模型的二层进行负载均衡。‌四层负载均衡‌:基于IP+端口的负载均衡,主要分析IP层及TCP/UDP层,实现四层负载均衡。‌七层负载均衡‌:从应用层开始,根据虚拟的URL或IP、主机名接收请求,再转向相应的处理服务器。

bobi的博客 957

SpringBoot中,使用RedisTemplate的几种序列化方式比较

RedisTemplate、JdkSerializationRedisSerializer、Jackson2JsonRedisSerializer、GenericJackson2JsonRedisSerializer

itfound的博客 2632

VS Code配置Java开发环境避坑指南:从JDK到Spring Boot插件全流程

本文详细介绍了在VS Code中配置Java开发环境的完整流程,涵盖JDK选择、环境变量配置、核心插件安装、构建工具优化及Spring Boot项目专项设置。特别针对常见问题提供避坑方案,帮助开发者快速搭建高效稳定的开发环境,提升Java和Spring Boot开发效率。

weixin_28839699的博客 986

Spring Boot Redis 序列化方案的选择

Redis的使用越来越广泛,当遇见性能瓶颈时,我们应该如何去解决呢? 文章对应的项目见 spring-boot-skill Redis序列化方案 Spring Boot Redis Spring Boot Data Redis给我们提供了即插即用的体验,大部分默认配置已经满足了我们的需求,而其中序列化方案选择的是原生的JdkSerializationRedisSerializer RedisT...

weixin_30764771的博客 462

SAP FI模块实操:用F-28和F-32搞定客户回款与手动清账,别再让未清项报表一团糟

本文详细解析了SAP FI模块中F-28和F-32事务代码在客户回款与手动清账中的实操应用,帮助财务人员高效管理未清项报表。通过标准清账六步法和手动清账实战技巧,解决因操作不规范导致的账务混乱问题,提升应收账款管理效率。

weixin_30292843的博客 455

小案例:利用图床自动化批量上传图片并获取图片链接

用python爬虫写了一个小脚本,用来自动上传图片到图床,然后返回链接,我们只需直接复制链接就可以。(需要安装Requests库) 因为不同图床需要提交的POST表单不一致,所以在这里我用ImgURL图床做示范,如果大家有需求,可自行修改代码。使用脚本的时候,我们只需把需要上传的图片和这个脚本放在同一个文件夹中,然后运行脚本,稍作等待,看到提示时就可以在脚本运行文件夹中发现一个名为“图片链接地址.txt”的文件,里面就是图片链接啦! 四、图片链接地址.txt(单张图片):...

采菊东篱下,Python满乾坤! 4416

Redis中系列化方式及其比较

Redis系列化方式有JDK系列化、JSON系列化、XML系列化等多种。我专门测试过,在我的电脑上保存5万条User对象到Redis,JDK系列化方式平均要15秒,JSON系列化方式只要13秒多点,JSON效率高,而且它点的内存空间少,但是我们在使用的时候还是应该根据实际情况去选择使用。 ...

LightBreezes的博客 304

【低轨】Starlink星链-Ku波段下行信号信号结构解析

Starlink播发位于10.7~12.7GHz之间的下行信号,该信号的设计意图是用于宽带网络通信,但是,文章通过对该信号信号体制的详细分析,以及解调出所调制的完整码序列,为利用Starlink信号进行定位解算提供了必要条件。(注,码序列对应的是卫星版本0.9,1.0和1.5)

iseeinvisible的博客 6311

springboot系列——redisTemplate和stringRedisTemplate对比、redisTemplate几种序列化方式比较

文章目录一、redisTemplate和stringRedisTemplate对比1、StringRedisTemplate2、RedisTemplate二、redisTemplate序列化方式比较1、性能测试对比2、性能总结3、方案一、考虑效率和可读性,牺牲部分空间4、方案二、空间敏感,忽略可读性和效率影响5、使用示例 一、redisTemplate和stringRedisTemplate对比 RedisTemplate看这个类的名字后缀是Template,如果了解过Spring如何连接关系型数据库的,大

qq_43842093的博客 4826

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Redis序列化器对比分析:选择最适合的序列化方式

序列化器的作用是将对象转换为字节流进行存储。Spring Data Redis提供了几种常用的序列化器,可以通过设置的序列化器来控制对象的存储方式。:基于JDK的序列化方式:使用Jackson序列化为JSON格式:使用Fastjson进行序列化:将字符串序列化:使用Jackson将对象序列化为JSON自定义序列化器:根据具体需求实现的序列化方式是Spring Data Redis默认提供的序列化器,基于Java自带的接口进行序列化。它适用于存储任意实现了接口的Java对象。

一碗黄焖鸡三碗米饭的博客 1301

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Redis的“序列化“和“反序列化“

而在从Redis读取数据和向Redis写入数据时,通常需要将这些数据序列化和反序列化。在Redis内部,也需要将数据进行序列化和反序列化,从而实现数据的存储和查询。Msgpack是一种高效的二进制序列化协议,相比JSON序列化方式,数据量更小、速度更快,更适合于大规模数据的存储和传输。另外,Redis最初是使用自定义的序列化协议来进行序列化和反序列化的。Redis序列化和反序列化的主要作用是将数据结构转化为二进制格式,使其能够被传输和存储。Redis可以使用相关的Protobuf库来进行序列化和反序列化。

Wushli77的博客 3034

Redis 数据序列化方法 serialize, msgpack, json, hprose 比较

Redis 数据序列化方法 serialize, msgpack, json, hprose 比较 07net01.com 发布于 2015-07-13 16:15:21 分类:IT技术阅读(375)评论 最近弄 Redis ,涉及数据序列化存储的问题,对比了:JSON, Serialize, Msgpack, Hprose 四种方式 1. 对序列化后的字符串长度对比: 测试代

gaoqiao1988的专栏 2302

Spring Data Redis提供的几种序列化的比较

* redis虽然提供了对list set hash等数据类型的支持,但是没有提供对POJO对象的支持,底层都是把对象序列化后再以字符串的方式存储的。* Spring data提供了若干个Serializer,主要包括: JdkSerializationRedisSerializer——使用Java自带的序列化机制将对象序列化为一个字符串 OxmSerializer——将对象序列化为xml字符串

薛小强Forever 1万+

Redis的jdk和json序列化性能对比

redis默认采用的序列化策略有两种,一种是String的序列化策略,一种是JDK的序列化策略. 有一下几个序列化工具类: 1. GenericToStringSerializer: 可以将任何对象泛化为字符串并序列化 2. Jackson2Json...

weixin_44065695的博客 4536

实战Redis序列化性能测试(Kryo和字符串)

在Java应用的开发中,有时候需要将Java对象实例保存在Redis中,常用方法有两种: 1. 将对象序列化成字符串后存入Redis; 2. 将对象序列化成byte数组后存入Redis; 以上两种方式孰优孰劣?字符串方式来存取的好处是编码和调试更简单容易,而byte数组的优势又在哪里呢,今天我们针对这两种存储方式做一次对比试验,用数据来得出结论;...

程序员欣宸的博客 9706

Spring data redis几种序列化器的比较

转自:http://stamen.iteye.com/blog/1907984   最近在整一个spring data redis,网上有一本《Spring Data》的电子书(我一个朋友正在翻译,应该今年会有中文版出来,人邮的),下载来看了一下,其中第8章讲到了Spring data对redis的支持。     redis虽然提供了对list set hash等数据类型的支持,但是没有提供...

keke_Xin的专栏 1401

Spring Data redis序列化的比较

redis虽然提供了对list set hash等数据类型的支持,但是没有提供对POJO对象的支持,底层都是把对象序列化后再以字符串的方式存储的。因此,Spring data提供了若干个Serializer,主要包括: JacksonJsonRedisSerializer JdkSerializationRedisSerializer OxmSerializer

WYFAIXIAOYU的博客 848

面试题总结180-197

181. Redis 和 memcache 有什么区别? 1、 Redis和Memcache都是将数据存放在内存中,都是内存数据库。不过memcache还可用于缓存其他东西,例如图片、视频等等。 2、Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,hash等数据结构的存储。 3、虚拟内存–Redis当物理内存用完时,可以将一些很久没用到的value 交换到磁盘 4、过期策略–memcache在set时就指定,例如set key1 0 0 8,即永...

旧城的博客 186

Redisson同时使用jackson、fastjson、kryo、protostuff序列化(含效率对比)

我们项目中会用到各种序列化工具,到底哪一种是最适合我们的?需要从序列化、反序列化、存储大小各个方法面来衡量,我之前有实测过jackson、fastjson、kryo、protostuff序列化的数据,大概情况如下:内存: 16GB系统: 64位备注:每次插入1个 StudentObject, 每个 StudentObject中含有 100000 个 Student 对象600次,共6000万个对象,实测数据.​首选:kryo,其次 protoStuff。

张小凡 2093

redisTemplate和stringRedisTemplate对比、redisTemplate几种序列化方式比较

一、redisTemplate和stringRedisTemplate对比   RedisTemplate看这个类的名字后缀是Template,如果了解过Spring如何连接关系型数据库的,大概不会难猜出这个类是做什么的 ,它跟JdbcTemplate一样封装了对Redis的一些常用的操作,当然StringRedisTemplate跟RedisTemplate功能类似那么肯定就会有人问,为什么会需要两个Template呢,一个不就够了吗?其实他们两者之间的区别主要在于他们使用的序列化类。 Redis

半生苦涩半生酸的博客 1867
上一篇: 什么是JAVA 泛型?通配符 T,E,K,V,?了解多少?
下一篇: Java 代码界 3% 的王者?看我是如何解错这 5 道题的
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值