ThreadLocal与内存泄漏问题

ThreadLocal及阿里(TransmittableThreadLocal,TTL)分析 ThreadLocal及TTL分析 阅读详情

1. ThreadLocal简介

1.1 应用场景

ThreadLocal在日常业务开发中并不多见,但应用底层必不可少,在多线程环境下,为每个线程提供一份变量副本,实现变量隔离,防止产生线程安全问题。

比如Hibernate就是用了ThreadLocal来管理session的线程安全问题;
再比如controller注入HttpServletRequest对象,属于共享的全局变量,但是如何保证每个线程接受的数据是属于自己的呢?底层是spring生成的是HttpServletRequest代理对象,在实际使用的时候,通过代理拿到ThreadLocal保存的request副本,详见AutoWireUtils类源码。

1.2 举例

举一个应用的例子,SimpleDateFormat转换日期是通过Calendar来操作的,而Calendar是线程不安全的,如果不想在方法内频繁创建SimpleDateFormat对象,而是想做为共享变量来使用,ThreadLocal可以为每个线程提供一个SimpleDateFormat副本,以下是封装的工具类。

public class SimpleDateFormatUtil {

    private static ThreadLocal<Map<String, SimpleDateFormat>> threadLocal = new ThreadLocal<>();

    public static SimpleDateFormat getFormat(String pattern) {
        Map<String, SimpleDateFormat> map = threadLocal.get();
        if (map == null) {
            map = new HashMap<>();
        }
        SimpleDateFormat sdf = map.get(pattern);
        if (sdf == null) {
            sdf = new SimpleDateFormat(pattern);
            map.put(pattern, sdf);
            threadLocal.set(map);
        }
        return sdf;
    }

}

这里建议用java8的 LocalDate、LocalTime



2. 内存泄漏

长生命周期的对象持有短生命周期的引用,就可能发生内存泄漏;
通俗的说就是一个不再被程序使用的对象由于被异常持有引用,导致无法垃圾回收,从而引发内存泄漏。

举一个简单的例子:这里期望a被垃圾回收,虽然方法栈里a引用无法再指向堆内存中创建的对象,但由于b的内部持有对象a的引用,即b内部的成员a仍然能指向堆内存中创建的对象,导致内存泄漏,除非能找到所有引用a的地方将其赋值为null,否则a的生命周期会持续到所有引用对象被回收而一起结束;

A a = new A();
B b = new B(a);
a = null;
System.out.println(b.getA());

再看一个JDK源码设计的例子,ArrayList在移除一个元素的时候,会把 index + 1及后面的元素复制到以index开始的位置,即把后面的元素往前移动一位,然后把最后一个元素置空,否则ArrayList会一直持有最后一个元素的引用,导致内存泄漏,直到ArrayList被垃圾回收;

	public E remove(int index) {
	    rangeCheck(index);
	
	    modCount++;
	    E oldValue = elementData(index);
	
	    int numMoved = size - index - 1;
	    if (numMoved > 0)
	        System.arraycopy(elementData, index+1, elementData, index,
	                         numMoved);
	    elementData[--size] = null; // clear to let GC do its work
	
	    return oldValue;
	}



3. ThreadLocal为什么可能产生内存泄漏

ThreadLocal的内部类ThreadLocalMap中,有一个Entry内部类设计。ThreadLocal做变量隔离都是通过ThreadLocalMap来操作的,里面有一个Entry数组,Entry是真正存值的地方。
产生内存泄漏的关键在于内部类Entry的设计。

   static class Entry extends WeakReference<ThreadLocal<?>> {
       /** The value associated with this ThreadLocal. */
       Object value;

       Entry(ThreadLocal<?> k, Object v) {
           super(k);
           value = v;
       }
   }

Entry继承WeakReference,即泛型ThreadLocal是弱引用,所以在垃圾回收的时候可以顺利被回收,但是对应的value可能不会被回收,原因在于ThreadLocalMap。
ThreadLocalMap是Thread的成员属性,所以生命周期跟随当前线程。

  • 如果线程正常结束,ThreadLocal,ThreadLocalMap,Entry都因不可达而会被回收,这样是都是正常的;
  • 如果使用的是线程池,线程复用导致ThreadLocalMap一直存在,Entry内部的value就不会被垃圾回收,产生k为null但是value不为null的情况,从而导致内存泄漏。

问题1:k值弱引用导致内存泄漏,为什么不设置为强引用?
答:如果把k设置为强引用,那么当threadLocal被垃圾回收,当前线程因复用等情况而未结束,持有ThreadLocalMap的强引用,ThreadLocalMap的Entry又强引用threadLocal和value,这样导致连threadLocal都不能正常回收。



4. 如何解决这个问题

JDK源码设计的时候已经考虑过这个问题,所以ThreadLocal的set和get方法通过ThreadLocalMap做了对旧值的擦除操作。

ThreadLocalMap.set方法:每一次set新值的时候,首先根据threadLocal的hashCode计算在Entry数组中的位置,然后向后环形对entry进行以下操作:

  • 如果entry为null,则直接插入,然后调用cleanSomeSlots方法检测并清除旧entry;
  • 如果entry的k等于当前的threadLocal,代表是同一个threadLocal,直接替换value;
  • 如果当前的entry不为null但k为null,代表上述内存泄漏的情况,调用replaceStaleEntry处理旧entry并set新值;
  • 如果entry不为null,entry的k不为null也不等于当前的threadLocal,代表hash冲突,可能是不同的threadLocal计算出相同的位置,已经有其他threadLocal在这个位置了,然后向后环形重复上述操作;
      private void set(ThreadLocal<?> key, Object value) {

          // We don't use a fast path as with get() because it is at
          // least as common to use set() to create new entries as
          // it is to replace existing ones, in which case, a fast
          // path would fail more often than not.

          Entry[] tab = table;
          int len = tab.length;
          int i = key.threadLocalHashCode & (len-1);

          for (Entry e = tab[i];
               e != null;
               e = tab[i = nextIndex(i, len)]) {
              ThreadLocal<?> k = e.get();

              if (k == key) {
                  e.value = value;
                  return;
              }

              if (k == null) {
                  replaceStaleEntry(key, value, i);
                  return;
              }
          }

          tab[i] = new Entry(key, value);
          int sz = ++size;
          if (!cleanSomeSlots(i, sz) && sz >= threshold)
              rehash();
      }




ThreadLocalMap.getEntry方法:每一次get的时候,首先根据threadLocal的hashCode计算在Entry数组中的位置,然后进行以下操作:

  • 如果entry不为null,并且entry中的k等于当前threadLocal,返回entry中存储的value;
  • 如果entry为null,或者entry的k不等于当前threadLocal,查看getEntryAfterMiss方法,对entry数组向后环形遍历:当entry不为null且entry的k等于当前threadLocal,返回entry里的value;当entry不为null但entry的k为null,处理当前entry及其value防止内存泄漏;当entry既不等于当前threadLocal也不为null,说明hash冲突,向后查找下一个entry继续上述操作;
      private Entry getEntry(ThreadLocal<?> key) {
          int i = key.threadLocalHashCode & (table.length - 1);
          Entry e = table[i];
          if (e != null && e.get() == key)
              return e;
          else
              return getEntryAfterMiss(key, i, e);
      }
      
      private Entry getEntryAfterMiss(ThreadLocal<?> key, int i, Entry e) {
          Entry[] tab = table;
          int len = tab.length;

          while (e != null) {
              ThreadLocal<?> k = e.get();
              if (k == key)
                  return e;
              if (k == null)
                  expungeStaleEntry(i);
              else
                  i = nextIndex(i, len);
              e = tab[i];
          }
          return null;
      }



问题2:如果两个threadLocal产生hash冲突,按相邻位置set,比如[0]和[1],如果第一个已经垃圾回收,按上述条件会调用expungeStaleEntry,第二个threadLocal处于正常状态是怎么取到值的?

答:关键就在于expungeStaleEntry,如代码所示,首先会将第一个threadLocal所属entry清理掉,然后把相邻threadLocal的entry改到这个位置,即由[1]改到[0],并将[1]上的entry置为null。

      private int expungeStaleEntry(int staleSlot) {
          Entry[] tab = table;
          int len = tab.length;

          // expunge entry at staleSlot
          tab[staleSlot].value = null;
          tab[staleSlot] = null;
          size--;

          // Rehash until we encounter null
          Entry e;
          int i;
          for (i = nextIndex(staleSlot, len);
               (e = tab[i]) != null;
               i = nextIndex(i, len)) {
              ThreadLocal<?> k = e.get();
              if (k == null) {
                  e.value = null;
                  tab[i] = null;
                  size--;
              } else {
                  int h = k.threadLocalHashCode & (len - 1);
                  if (h != i) {
                      tab[i] = null;

                      // Unlike Knuth 6.4 Algorithm R, we must scan until
                      // null because multiple entries could have been stale.
                      while (tab[h] != null)
                          h = nextIndex(h, len);
                      tab[h] = e;
                  }
              }
          }
          return i;
      }

更多关于ThreadLocal源码的解释可参考:

https://www.jianshu.com/p/dde92ec37bd1



5. 开发中如何避免

每次使用完ThreadLocal及时调用remove()方法,remove方法会将key和value擦除;
c.clear负责清楚entry的k,expungeStaleEntry负责清楚entry的value。

      private void remove(ThreadLocal<?> key) {
          Entry[] tab = table;
          int len = tab.length;
          int i = key.threadLocalHashCode & (len-1);
          for (Entry e = tab[i];
               e != null;
               e = tab[i = nextIndex(i, len)]) {
              if (e.get() == key) {
                  e.clear();
                  expungeStaleEntry(i);
                  return;
              }
          }
      }
网易CodeWave智能生成应用实战:5分钟搞定库存管理系统(附详细配置截图) 本文详细介绍了如何利用网易CodeWave智能生成应用在5分钟内快速构建定制化库存管理系统。通过自然语言描述需求,无需编程即可生成包含产品管理、库存预警等核心功能的应用,并支持字段微调、业务流程注入等深度优化。文章附有详细配置截图,帮助用户高效实现数字化转型。 阅读详情

相关推荐

推荐系统:NDCG评价指标及其Python实现方法

除了推荐任务,在二分类任务中,也可以计算该指标,代码如下: # ndcg def get_dcg(y_pred, y_true, k): #注意y_pred与y_true必须是一一对应的,并且y_pred越大越接近label=1(用相关性的说法就是,与label=1越相关) df = pd.DataFrame({"y_pred":y_pred, "y_true":y_true}) ...

lanyuelvyun的博客 8241

ThreadLocal内存溢出演示和原因分析!

作者 | 磊哥来源 | 公众号:Java中文社群转载请联系授权(微信ID:GG_Stone)前言ThreadLocal 翻译成中文是线程本地变量的意思,也就是说它是线程中的私有变量,每个线程只能操作自己的私有变量,所以不会造成线程不安全的问题。所谓的线程不安全是指,多个线程在同一时刻对同一个全局变量做写操作时(读操作不会涉及线程不安全问题),如果执行的结果和我们预期的结果不一致就称之为线程不安全,...

weixin_44742132的博客 330

OpenSceneGraph编译、安装、开发环境

详细描述WIndows 10下使用Visual Studio 2019编译OpenSceneGraph 3.6.5的操作流程

国产CAx(CAD/CAE/CAM)软件研发 8771

ThreadLocal 封装SimpleDateFormat 使用

JAVA 中的SimpleDateFormat 是非线程安全的 具体原因自己百度。 网上说用ThreadLocal 封装可以实现线程安全。 自己封装了下 private static final ThreadLocal&lt;Map&lt;String, DateFormat&gt;&gt; messageFormat = new ThreadLo...

夜雨青春 2523

[事件相机1]2024CVPR:Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset

作者:Xiao Wang, Shiao Wang, Chuanming Tang, Lin Zhu, Bo Jiang, Yonghong Tian, Jin Tang代码:https://github.com/Event-AHU/EventVOT_Benchmark。

m0_37412775的博客 1706

双硬盘下Ubuntu 16.04与Win10双系统的安装

之前写过一个双系统安装过程,今天再次整理的原因是想重点强调双硬盘的区别。标红的一定要注意看,那就是我自己一步一步踏出来的坑啊...   基础步骤就不再重复,重点讲区别,需要看详细步骤的童鞋(或者你只有一个硬盘)请看我上一篇博客https://blog.youkuaiyun.com/weixin_40308540/article/details/80157444   区别:双硬盘和单硬盘的区别是什么呢?...

不吃包子 1122

线程安全的DateFormatUtil

public class DateFormatUtil { public static final String DEFAULT_PATTERN = "yyyy-MM-dd HH:mm:ss"; private static ThreadLocal> threadLocal = new ThreadLocal>(); public static SimpleDateFormat getS

MQCloud的专栏 1226

PaddleOCR转ONNX模型实战:5分钟搞定中文OCR推理部署(附完整代码)

本文详细介绍了将PaddleOCR模型转换为ONNX格式并进行高效推理部署的完整实战方案。通过Paddle2ONNX工具实现模型转换,利用ONNX Runtime构建跨平台推理引擎,涵盖环境配置、模型优化、批量处理及多平台部署等关键步骤,显著提升中文OCR在边缘设备上的推理性能。

weixin_29051811的博客 616

ThreadLocal封装SimpleDateFormat

调用Thread.currentThread()获取当前线程。 JDK提供了ThreadLocal,在一个线程中传递同一个对象。 ThreadLocal表示线程的“局部变量”,它确保每个线程的ThreadLocal变量都是各自独立的。 ThreadLocal适合在一个线程的处理流程中保持上下文(避免了同一参数在所有方法中传递) 使用ThreadLocal要用try … finally结构。 p...

Leon_Jinhai_Sun的博客 647

【unity游戏开发之InputSystem——01】通过写代码监听InputSystem输入(基于unity6开发介绍)

通过写代码监听InputSystem输入(基于unity6开发介绍)

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 4890

瑞芯微RK3588部署YOLOv8模型

写下这篇博客进行记录,以防后面忘了怎么部署。

weixin_45303602的博客 3652

底层解剖ThreadLocal及其引发的内存泄漏问题

内存泄漏,并不是顾名思义的说这个线程想独有的内存给别的线程偷偷抢走了,而是,内存不能被回收,就是内存泄露。

Daoxifu的博客 4977

GEE:面对对象土地利用分类(结合SNIC、GLCM 和机器学习算法)

本文将介绍在Google Earth Engine中结合SNIC、GLCM和机器学习算法的的土地利用/土地覆盖(LULC)分类方法。结果如下图所示,

养乐多的博客 5614

ThreadLocal内存泄漏问题分析

ThreadLocal内存泄漏的根本原因是ThreadLocalMap存在于线程,生命周期比较长,弱引用是用来减轻内存泄漏问题的,并不是设计缺陷。

K007light的博客 331

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

ThreadLocal 内存泄漏问题

搞清ThreadLocal 内存泄漏问题,保持良好的编程习惯

m0_68642284的博客 1246

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

ThreadLocal内存泄漏问题

小白也能看懂的ThreadLocal内存泄漏问题,

一枚小爪哇(Java)的博客 292

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

一篇文章,从源码深入详解ThreadLocal内存泄漏问题

threadLocal是为了解决对象不能被多线程共享访问的问题,通过threadLocal.set方法将对象实例保存在每个线程自己所拥有的threadLocalMap中,这样每个线程使用自己的对象实例,彼此不会影响达到隔离的作用,从而就解决了对象在被共享访问带来线程安全问题

小斜同学的博客 1565

内存泄漏以及ThreadLocal问题

线程池中的线程复用后,ThreadLocal 的值未被清理,长期占用内存。threadlocal的value为什么要用强引用而key用弱引用呢?

ThisIsMirror的博客 605

threadlocal使用_ThreadLocal 内存泄漏问题探究

点击上方“蓝字”关注我们第 4 篇原创文章写在前面ThreadLocal 基本用法本篇文章就不介绍了,如果有不知道的小伙伴可以先了解一下,本文只研究 ThreadLocal 内存泄漏这一问题。ThreadLocal 会发生内存泄漏吗?先给出结论:如果你使用不当是有可能发生内存泄露的。ThreadLocal 和 当前 Thread 栈堆布局图每个 Thread 里面都有一个 ThreadL...

weixin_39646107的博客 84

ThreadLocal的内存泄漏问题

例如,在Web应用程序中,如果将一个ThreadLocal实例放入了一个长寿命周期的容器中(如ServletContext),但在容器关闭时没有清理ThreadLocal实例,就会导致内存泄漏。另外,如果ThreadLocal中持有的对象是一个较大的对象,并且在使用完后没有手动释放,也可能导致内存泄漏。因为ThreadLocal中的对象只有在线程结束后才会被垃圾回收器回收,如果ThreadLocal没有被正确清理,对象就无法被释放,从而导致内存泄漏。避免持有过大的对象或过长时间的对象。

Super_cjj的博客 4052

ThreadLocal内存泄漏问题讲解

一、首先回顾一下内存泄漏是什么: 内存泄漏是指:程序已经不再使用某字段、某对象。但是却无法回收掉它占用的内存。 两个关键点:不再使用 并且 无法回收 二、为什么ThreadLocal会发生内存泄漏问题? 2.1 问题发现 以下是整体结构 ThreadLocal就相当于一个访问工具类,通过操作ThreadLocal对象的方法 来操作存储在当前线程内部的ThreadLocalMap里的值 ThreadLocalMap是一个哈希数组,key为ThreadLocal对象,Value为一个Objec

深度 3195

SpringBootWeb 篇-深入了解 ThreadLocal 存在内存泄漏问题

ThreadLocal的内存泄漏问题及解决方案。ThreadLocal为每个线程提供独立存储空间,其Map结构采用弱引用key以减少泄漏风险,但仍需手动remove清理。在线程池环境下,线程复用会导致ThreadLocalMap持续存在,若不及时清理将引发内存泄漏;而普通线程执行完毕后,ThreadLocalMap会随线程销毁自动回收。文章建议:1)使用后必须remove();2)静态ThreadLocal实例需特别关注;

小扳手 4083

《为什么ThreadLocal会导致内存泄漏?一文还原问题现场》

ThreadLocal的内存泄漏问题是Java开发中常见且重要的话题。ThreadLocal为每个线程提供了独立的存储空间,类似于“私人储物柜”,但若不正确使用,可能导致内存泄漏。内存泄漏的根本原因是ThreadLocalMap中的Entry使用弱引用作为key,而value是强引用。当ThreadLocal实例被回收后,key会被GC回收,但value仍然存在,且无法被访问,导致内存无法释放,特别是在线程池等长生命周期线程中。 为避免内存泄漏,开发者应遵循以下最佳实践: 使用后必须调用remove():确

龚小帅的博客 861

如何解决ThreadLocal内存泄漏问题?

内存泄漏是指程序无法再使用某些内存,但这些内存却不会被回收,导致系统内存的浪费,最终可能导致内存不足。中的内存泄漏问题主要是因为的键是弱引用,而值是强引用。让我们更详细地分析这个问题。

qq_62923382的博客 983
上一篇: 缓存与数据库双写一致性问题
可爱徐叔叔
博客等级 码龄7年 5粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值