当MyBatis 3.5.X遇上JDK8竟然出现了性能问题,全项目组都得加班~

TiDB 适配应用实践:MyBatis 3.5.X 在 JDK8 中性能问题的排查与优化 最近有金融客户使用 TiDB 适配批处理场景,数据量在数亿级。对于相同的数据量的处理耗时,TiDB 有 35 分钟,Oracle 有 15 分钟,足足相差 20 分钟。从之前的经验来看,在批处理场景上 TiDB 的性能是要好过 Oracle 的,这让我们感到困惑。经过一番排查最终定位是批处理程序问题。调整后,在应用服务器有性能瓶颈、数据库压力依然不高且没有进行参数优化的情况下,TiDB 处理时间缩短到 16 分钟,与 Oracle 几乎持平。 远程排查 通过 Grafana 发现执行批处理时数据库集群的资源 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 8:55 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:zhuanlan.zhihu.com/p/364340936

于七天


最近,有金融客户使用 TiDB 适网贷核算场批处理场景,合同表数量在数亿级。对于相同数据量,TiDB 处理耗时 35 分钟,Oracle 处理耗时只有 15 分钟,足足相差 20 分钟。从之前的经验来看,在批处理场景上 TiDB 的性能是要好过 Oracle 的,这让我们感到困惑。

经过一番排查最终定位是批处理程序问题。调整后,在应用服务器有性能瓶颈、数据库压力依然不高且没有进行参数优化的情况下,TiDB 处理时间缩短到 16 分钟,与 Oracle 几乎持平。

远程排查

通过 Grafana 发现程序运行时集群的资源使用率非常低。判断应用发来的压力较小,将并发数从 40 提高到 100,资源使用率和 QPS 指标几乎没有变化。通过 connection count 监控看到,随着并发数的增加,连接数也同样增加了,确认并发数的修改是生效的。但奇怪的是执行 show processlist 发现大部分连接是空闲状态。简单走查了程序代码,是 Spring batch + MyBatis 架构。因为 Spring batch 设置并发的方式很简单,所以考虑线程数的调整应该是生效且可以正常工作的。

虽然还没有搞清资源使用率低的问题,但还是有其他收获。应用服务器和 TiDB 集群的网络延迟达到了 2~3 ms。为了排除高网络延迟的干扰,将应用部署到 TiDB 集群内部运行,批处理耗时从 35 分钟下降到 27 分钟,但依然和 Oracle 有较大差距。因为数据库本身没有压力,所以当时的情况调整数据库参数也没什么意义。

这时考虑线程可能造成了阻塞,但苦于没有证据,于是想了这样的场景来简单验证到底是应用的问题还是数据库的问题:在 TiDB 集群中创建两个完全相同的 Database:d1 和 d2。使用两个完全相同的批处理应用分别对 d1、d2 进行批处理,等同于双倍压力写入 TiDB 集群,预期结果是对于双倍的数据量,同样可以在 27 分钟处理完,同时数据库资源使用率应大于一个应用的。测试结果符合预期,证明应用没有真正的提高并发。

客户反馈给我们可能的几种情况:

1、应用并发太高,CPU 繁忙导致应用性能瓶颈。

应用服务器的 CPU 消耗只有 6%,不应该存在性能瓶颈。

2、Spring batch 内部有一些元数据表,同时更新元数据表的同一条数据会造成阻塞。

这种情况应该是阻塞在数据库造成锁等待或锁超时,不应该阻塞在应用端。

客户的解决思路:

1、多应用部署并发运行,性能随应用部署数线性提升。

不能解决单机应用性能瓶颈问题,对于业务高峰时的拓展也很不方便。

2、采用异步处理的方案,提高应用吞吐。

目前是有些异步访问数据库的技术如 R2DBC,但成熟度低,强烈不建议使用。

现场排查

为了弄清问题根本原因,来到客户现场。

  • 使用 JDBC 编写了一个 Demo 对问题集群进行压测,发现数据库资源使用率随着 demo 并发数提高而增长,证明提高并发数可以给数据库制造更高的压力,此时完全排除数据库问题的可能。

  • 通过 VisualVM 发现,应用程序的大量线程处于 Monitor 状态,这种情况线程开的多其实也没用上,实锤性能瓶颈来自应用。

大量线程处于 Monitor 状态

  • 走查应用代码,发现虽然有用到同步等加锁逻辑,但应该不会造成严重的线程阻塞问题。

  • 通过 dump 发现线程都阻塞在了 MyBatis 的堆栈中

Locked ownable synchronizers:
    - <0x000000008523ca00> (a java.util.concurrent.ThreadPoolExecutor$worker)

"taskExecutorForHb-197" #342 prio=5 os_prio=0 tid=0x0007f5d7c72f800 nid=0x182c waiting for monitor entry [0x00007f5ccd6d4000]
    java.lang.thread.State: BLOCKED (on  object monitor)
    - waiting to lock <0x0000000080a772d8> (a java.util.concurrent.ConcurrentHashMap$Node)
    at org.apache.ibatis.reflection.DefaultReflection.DefaultReflectorFactory.fineForClass(DefaultReflectorFactory.java:1674)

是在源码的这个位置,DefaultReflectorFactory.java

public Reflector findForClass(Class<?> type) {
  if (classCacheEnabled) {
    // synchronized (type) removed see issue #461
    return reflectorMap.computeIfAbsent(type, Reflector::new);
    } else {
    return new Reflector(type);
    }
}

这里大致是这样,MyBatis 在进行参数处理、结果映射等操作时,会涉及大量的反射操作。Java 中的反射虽然功能强大,但是代码编写起来比较复杂且容易出错,为了简化反射操作的相关代码, MyBatis 提供了专门的反射模块,它对常见的反射操作做了进一步封装,提供了更加简洁方便的反射 API 。DefaultReflectorFactory 提供的 findForClass() 会为指定的 Class 创建 Reflector 对象,并将 Reflector 对象缓存到 reflectorMap 中,造成线程阻塞的就在对 reflectorMap 的操作上。

因为 MyBatis 支持对 ReflectorFactory 自定义实现,所以当时的思路是绕过缓存的步骤,也就是将 classCacheEnabled 设为 false,走 return new Reflector(type) 的逻辑。但依然会在其他调用 ConcurrentHashmap.computeIfAbsent 的地方被阻塞。

到这看起来是一个通用问题,于是将注意力放到 concurrentHashmap 的 computerIfAbsent 上。computerIfAbsent 是 JDK8 中 为 map 提供的新方法

public V computeIfAbsent(K key, Function<? super K,? extends V> mappingFunction)

它首先判断缓存 map 中是否存在指定 key 的值,如果不存在,会自动调用 mappingFunction (key) 计算 key 的 value,然后将 key = value 放入到缓存 Map。ConcurrentHashMap 中重写了 computeIfAbsent 方法确保 mappingFunction 中的操作是线程安全的。

官方说明中一段:

The entire method invocation is performed atomically, so the function is applied at most once per key. Some attempted update operations on this map by other threads may be blocked while computation is in progress, so the computation should be short and simple, and must not attempt to update any other mappings of this map.

可以看到,为了保证原子性,当对相同 key 进行修改时,可能造成线程阻塞。显而易见这会造成比较严重的性能问题,在 Java 官方 Jira,也有用户提到了同样的问题。

[JDK-8161372] ConcurrentHashMap.computeIfAbsent(k,f) locks bin when k present

很多开发者都以为 computeIfAbsent 是不会造成线程 block 的,但事实却是相反的。而 Java 官方当时认为这个方法的设计没问题。但反思之后也觉得,在性能还不错的 concurrenthashmap 中有这么个拉胯兄弟确实不太合适。所以,官方在 JDK9 中修复了这个问题。

验证

将现场 JDK 版本升级到 9 ,应用在 500 并发,并排除网络延迟干扰的情况下,批处理耗时 16 分钟。应用服务器 CPU 达到 85% 左右使用率,出现性能瓶颈。理论上,提高应用服务器配置、优化数据库参数都可以进一步提升性能。

当时的结论

MyBatis 3.5.X 在缓存反射对象用到的 computerIfAbsent 方法在 JDK8 中性能不理想。需要升级 jdk9 及以上版本解决这个问题。对于 MyBatis 本身,没有针对 JDK8 中的 computerIfAbsent 性能问题进行特殊处理,所以升级 MyBatis 版本也不能解决问题。

但可以降级(在 MyBatis 3.4.X 中,还没有引入这个函数,所以理论上可以规避这个问题。

@Override
  public Reflector findForClass(Class<?> type) {
  if (classCacheEnabled) {
    // synchronized (type) removed see issue #461
    Reflector cached = reflectorMap.get(type);
    if (cached == null) {
      cached = new Reflector(type);
      reflectorMap.put(type, cached);
    }
    return cached;
    } else {
    return new Reflector(type);
    }
  }

现在的结论

MyBatis 官方在收到我们的反馈后,非常效率地修复了这个问题。手动点赞

可以看到 MyBatis 官方对 computerIfAbsent 进行了一层封装,如果 value 已存在,则直接 return,这样操作相同 key 的线程阻塞问题就被绕过去了。MyBatis 会在 3.5.7 版本中合入这个 PR。

public class MapUtil {
/**
* A temporary workaround for Java 8 specific performance issue JDK-8161372 .<br>
* This class should be removed once we drop Java 8 support.
*
* @see <a href="https://bugs.openjdk.java.net/browse/JDK-8161372">https://bugs.openjdk.java.net/browse/JDK-8161372</a>
*/
public static <K, V> V computeIfAbsent(Map<K, V> map, K key, Function<K, V> mappingFunction) {
  V value = map.get(key);
  if (value != null) {
    return value;
  }
    return map.computeIfAbsent(key, mappingFunction::apply);
  }

  private MapUtil() {
    super();
    }
  }

同学们,你们遇到过这个问题没?欢迎在留言区讨论~



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
MyBatis 在 JDK8 中的性能问题 在一次客户使用 TiDB 适配批处理场景中,处理数据的性能和预期相差很多。处理相同的数据量,。 阅读详情

相关推荐

MyBatis-Plus 3.5.x版本核心特性与性能优化解析

MyBatis-Plus作为MyBatis的增强工具,通过简化API设计和优化性能,显著提升了Java持久层操作的开发效率。其核心原理包括条件构造器的链式调用优化、SQL语句生成引擎重构以及元数据处理增强。这些改进在动态查询、批量操作等场景下展现出显著的技术价值,例如逻辑删除功能的零代码实现和批量插入性能的2-3倍提升。特别是在高并发环境下,新的SQL缓存机制和反射缓存技术进一步降低了数据库压力。本文以MyBatis-Plus 3.5.x为例,深入解析其增强型条件构造器、性能优化机制和全新类型处理器等关键特

weixin_33739523的博客 318

Mybatis的几点小结

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34314962的博客 507

point transformer v3结构

分割结构: embedding->enc->dec embedding->enc0->enc1->enc2->enc3->enc4->dec3->dec2->dec1->dec0 embedding ->block0->block1 ->dow->block0->block1 ->dow->block0->block1 ->dow->block0->block1-&gt

weixin_45625419的博客 584

使用mybatis或mybatisplus导致阻塞,但CPU占用不高的可能问题

bug报告:[JDK-8161372] ConcurrentHashMap.computeIfAbsent(k,f) locks bin when k present - Java Bug Systemhttps://bugs.openjdk.java.net/browse/JDK-8161372一句话说明:mybatis包括mybatis-plus会对实体类的字段映射保留一个缓存,缓存方式是存如concurrentHashMap中,使用了computeIfAbsent方法。这个方法会导致其中的Functi

ttaannkkee的博客 1770

投入产出表之直接消耗系数和完全消耗系数计算--基于Excel

介绍 上篇博客已介绍投入产出表的结构类型及意义解读,在此就不重复写了。 投入产出法中相对稳定的因素是一些系数,根据投入产出表可以计算很多系数: 案例 案例数据即流量矩阵,采用的是中国2012年的部分行业数据,若有不对,请批评指正哈。 直接消耗系数的计算 根据上表和直接消耗系数的计算公式,直接消耗系数矩阵通常用A表示。农林牧渔产品和服务部门对其他部门产品的直接消耗系数分别为: 这些消耗系数的经济意义是,农、林、牧、渔产品和服务部门每生产单位(1亿元)总产出,要直接消耗0.1378亿元本部门产品,0.26

m0_46271335的博客 7万+

Multisim 14.0元件库下载完整指南:从安装到配置

详细介绍Multisim 14.0版本的元件库下载方法,涵盖安装步骤与后续配置流程,帮助用户快速搭建仿真环境。内容覆盖常见问题及解决方案,让multisim元件库下载更高效、稳定。

weixin_34511754的博客 1938

MyBatis性能优化

1.延迟加载 1.1 什么是延迟加载(按需加载) resultMap中的association(has a)和collection(has some)标签具有延迟加载的功能。 延迟加载的意思是说,在关联查询时,利用延迟加载,先加载主信息。需要关联信息时再去按需加载关联信息。这样会大大提高数据库性能,因为查询单表要比关联查询多张表速度要快。 设置延迟加载 Mybatis默认是没开启延迟加载功能的,我...

专业的计算机毕业设计指南 2498

风力发电机并网模型建立及仿真验证

传统能源日益匮乏,环境污染日趋严重,全球向安全、可靠和环保的可持续能源体系转型迫在眉睫,风电迎来了重要的发展契机。近年来,全球风电迅猛发展,我国已成为世界风电新增装机容量第一的国家。然而,随着风电规模的不断增大,风电场接入对系统影响不容忽视。随着变速恒频风力发电系统优越的性能突出和大容量电力电子技术的成熟,风速随机性引起的功率波动及故障情况下的动态响应,对电能质量,系统电压、频率的稳定性产生的影响需要深入研究。因而,本文结合实际项目,针对变速恒频风力发电系统建模,端口动态特性及对电网电能质量、运行稳定性的影

毕业设计区博客 1648

你可能忽视的 MyBatis 3.5.X 在 JDK8 中存在的性能问题

>>号外:关注“Java精选”公众号,回复“2021面试题”关键词,领取全套500多份Java面试题文件。最近,有客户使用TiDB适配批处理场景,处理性能和预期相差很多。在相同...

Java精选 822

光互联技术演进:OIO、OBO、NPO、CPO四种方案对比与选型指南

光互联技术是解决高速数据中心和AI算力集群带宽瓶颈的关键路径。其核心原理是将光电转换点从面板向交换芯片逐步拉近,以缩短电通道、降低功耗并改善信号完整性。按照光电转换位置与芯片的距离,光互联可分为OIO、OBO、NPO和CPO四种技术路线,各自在功耗、可维护性和成熟度上存在显著差异。在AI训练集群、运营商网络等场景中,选型需综合考量功耗预算、运维体系和供应链生态。本文深入拆解这四种方案的技术细节、工程挑战与部署策略,为光互联技术选型提供实操参考。

weixin_33393017的博客 173

虚拟机器人平台CoppeliaSim(Vrep)的逆运动学教学

相信看这篇博客的人都知道CoppeliaSim是做什么的,因此这里不多赘述。CoppeliaSim从最早的Vrep到现在已经更新了N个版本,从过去Vrep3.x开始使用的我这里小小地吐槽一下这个软件。CoppeliaSim每一个版本都有更新,问题是这些更新有时候不能向前兼容,而且时不时更新地让人不知所措(对于有紧急任务的时候真的很火大啊)。 以本文所展示地逆运动学来说,CoppeliaSim在4.0.0之后又大变,推翻了过往所有的拖动模块链接之类的构建方式,转而采用直接通过代码来实现逆运动学。 简单版逆运动

qq_39243015的博客 6701

JDK 17 + Spring Boot 3.5.8:企业级开发技术栈全景分析

深入剖析飞鱼管理系统的完整技术栈架构,涵盖 Spring Boot 3.5.8、Spring Security 6、MyBatis、Redis 等核心技术选型。通过 RuoYi-Vue、RuoYi-Vue3 和飞鱼系统三个版本的详细对比,揭示技术升级背后的决策逻辑。包含 5 个技术选型误区、3 套性能优化方案 (启动速度提升 73%、内存占用降低 75%),以及企业级架构设计经验。适合 Java 后端开发工程师、系统架构师阅读,助你构建高性能、可扩展的企业级应用。

腾讯云创作之星、华为云云享专家,深耕电商全栈高并发系统实战,分享可商用商城项目源码。 2932

通过InoDriverShop伺服调试软件连接汇川SV660F系列伺服的具体方法示例

通过InoDriverShop伺服调试软件连接汇川SV660F系列伺服的具体方法示例

Robot_PLC_HMI_Automation 1万+

MyBatis-Plus 3.5.x性能优化与核心特性解析

ORM框架作为Java持久层开发的核心组件,通过对象关系映射技术简化数据库操作。MyBatis-Plus在MyBatis基础上进行了增强,其3.5.x版本通过重构SQL生成引擎和优化连接池管理,实现了CRUD操作40%-60%的性能提升。该版本采用AST抽象语法树模型,在类型安全检查、SQL缓存和动态SQL优化方面表现突出,特别适合处理千万级数据量的高并发场景。新增的Lambda表达式增强支持和动态表名处理器等特性,使开发者能够更高效地实现复杂业务逻辑。结合HikariCP等现代连接池使用时,数据库操作效率

weixin_33719619的博客 424

【车载以太网】【SOMEIP】Wireshark测试someip

一、 Wireshark SOMEIP plugin 1.1 插件安装 Wireshark插件目录:Help -> About Wireshark -> Folders/Pluginshttps://github.com/jamores/eth-ws-someip 解压后,将所有后缀是lua的文件拷贝到Wireshark安装目录plugins/2.4.10/下。 1.2时间戳调整为UTC显示格式 View -> Time Display Format -> Date and Tim.

专注汽车软件开发、AutoSAR、车载以太网、SOA、EE架构。 9735

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

MyBatis-Plus升级至3.5.4版本遇到的依赖问题解析

> 还在为MyBatis-Plus版本升级头疼吗?一文解决所有依赖冲突和兼容性问题! ## 前言 MyBatis-Plus作为MyBatis的增强工具包,在Java开发中广受欢迎。随着版本的不断迭代,3.5.4版本带来了许多新特性和性能优化,但在升级过程中往往会遇到各种依赖问题。本文将深入分析升级到3.5.4版本时可能遇到的依赖问题,并提供详细的解决方案。 ## 升级背景与重要性 MyBa...

gitblog_01404的博客 661

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Spring Boot 2.x——SpringBoot3.3.5全栈升级与框架适配总结(技术分享版)

本次升级以为核心,完成环境升级、依赖替换、代码迁移、问题修复,成功解决包名迁移、依赖冲突、Bean 异常、编译错误、文档失效五大类问题。项目实现编译成功、启动无报错、功能全覆盖、AI 正常运行,技术栈规范、稳定、可长期维护,可为同类 Spring Boot 3 升级项目提供完整参考方案。

2301_80986465的博客 518

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

MyBatis-Plus 3.x 性能调优全解析:从注解配置到批量操作的最佳实践

在现代企业级应用开发中,数据持久层性能直接影响系统整体响应能力。MyBatis-Plus 3.x 作为 MyBatis 的增强工具,提供了丰富的性能优化特性,但在实际应用中,开发者往往只使用了其基础功能。本文将深入探讨 MyBatis-Plus 3.x 的性能调优策略,涵盖注解配置优化、批量操作实践、查询性能提升等关键领域,帮助开发团队构建高性能的数据访问层。 ## 问题场景:企业级应用中的性能

gitblog_00041的博客 548

Mybatis-PageHelper版本兼容性矩阵:JDK与Mybatis版本搭配

你是否还在为Mybatis-PageHelper的版本选择而头疼?是否经历过因为JDK、MyBatis版本不兼容导致的项目启动失败或运行异常?本文将为你提供一份详尽的Mybatis-PageHelper版本兼容性矩阵,帮助你轻松解决版本搭配难题。 读完本文,你将能够: - 了解Mybatis-PageHelper各主要版本的特性与变化 - 掌握JDK与Mybatis-PageHelper版本的匹...

gitblog_00462的博客 792
上一篇: 干掉 SSH!Java 四大框架?
下一篇: 手写一个简版的 Redis,实现高性能的 key-value 服务
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值