关于Java 同步工具和组合类的线程安全性分析

保姆级教程:用TI IWR6843雷达板跑通3D人体追踪demo(附CCS/UniFlash避坑指南) 本文提供了一份详尽的TI IWR6843毫米波雷达开发板3D人体追踪demo实现指南,涵盖开发环境搭建、工程导入编译、固件烧录及可视化工具配置全流程。特别针对CCS和UniFlash使用中的常见问题给出解决方案,帮助开发者快速掌握3D People Tracking技术应用。 阅读详情

何为线程安全的类?

一般来说,我们要设计一个线程安全的类,要从三个方面去考虑:

  1. 构成状态的所有变量。比如某个域是集合类型,则集合元素也构成该实例的状态。
  2. 某些操作所隐含的不变性条件。
  3. 变量的所有权,或称它是否会被发布。

基于条件的同步策略

不变性条件取决于类的语义,比如说计数器类的 counter 属性被设置为 Integer 类型,虽然其域值在 Integer.MIN_VALUE 到 Integer.MAX_VALUE 之间,但是它的值必须非负。即:随着计数的进行,conuter >= 0 总是成立。

除了不变性条件之外,一些操作还需要通过后验条件,以此判断状态的更改是否有效。比如一个计数器计到 17 时,它的下一个状态只可能是 18。这实际涉及到了对原先状态的 "读 - 改 - 写" 三个连续的步骤,典型的如自增 ++ 等。"无记忆性" 的状态是不需要后验条件的,比如每隔一段时间测量的温度值。

先验条件可能是更加关注的问题,因为 "先判断后执行" 的逻辑到处存在。比如说对一个列表执行 remove 操作时,首先需要保证列表是非空的,否则就应该抛出异常。

在并发环境下,这些条件均可能会随着其它线程的修改而出现失真。

状态发布与所有权

在许多情况下,所有权和封装性是相互关联的。比如对象通过 private 关键字封装了它的状态,即表明实例独占对该状态的所有权 ( 所有权意味控制权 )。反之,则称该状态被发布。被发布的实例状态可能会被到处修改,因此它们在多线程环境中也存在风险。

容器类通常和元素表现出 "所有权" 分离的形式。比如说一个声明为 final 的列表,客户端虽然无法修改其本身的引用,但可以自由地修改其元素的状态。这些事实上被发布的元素必须被安全地共享。这要求元素:

  1. 自身是事实不可变的实例。
  2. 线程安全的实例。
  3. 被锁保护。

实例封闭

大多数对象都是组合对象,或者说这些状态也是对象。对组合类的线程安全性分析大致分为两类:

  1. 如果这些状态线程不安全,那应该如何安全地使用组合类?
  2. 即使所有的状态都线程安全,是否可以推断组合类也线程安全?或者说组合类是否还需要额外的同步策略?

对于第一个问题,见下方的 Bank 代码,它模拟了一个转账业务:

class Bank {
    private Integer amount_A = 100;
    private Integer amount_B = 50;
    public synchronized void transaction(Integer amount){
        var log_0 = amount_A + amount_B;
        amount_A += amount;
        amount_B -= amount;
        var log_1 = amount_A + amount_B;
        assert log_0 == log_1;
    }
}

虽然 amount_A 和 amount_B 本身作为普通的 Integer 类型并不是线程安全的,但是它们具备线程安全的语义:

  1. 它们是 private 成员,因此不存在被意外共享的问题。
  2. 它们唯一与外界交互的 transaction() 方法被锁保护。

也可以理解成:Bank 是为两个 Integer 状态提供线程安全性的容器。在此处,同步策略由 synchronized 内置锁实现。

编译器会在 synchronized 的代码区前后安插 monitorenter 和 monitorexit 字节码表示进入 / 退出同步代码块。Java 的内置锁也称之监视器锁,或者监视器。

至于第二个问题,答案是:看情况,具体地说是分析是否存在不变性条件,在这里,它指代在转账过程当中,a 和 b 两个账户的余额之和应当不变。如果使用原子类型保护 amount_A 和 amount_B 的状态,那么是否就可以撤下 transaction() 方法上的内置锁了?

class UnsafeBank {
    private final AtomicInteger amount_A = new AtomicInteger(100);
    private final AtomicInteger amount_B = new AtomicInteger(50);
    public void transaction(Integer amount){
        amount_A.set(amount_A.get() - amount);
        amount_B.set(amount_B.get() + amount);
    }
}

transaction() 方法现在失去了锁的保护。这样,某线程 A 在执行交易的过程中,另一个线程 B 也可能会 "趁机" 修改 amount_B 的账目 —— 这个时机发生在线程 A 执行 amount_B.get() 之后,但在 amount_B.set() 之前。最终,B 线程的修改将被覆盖而丢失,在它看来,尽管两个状态均是原子变量,但不变性条件仍然被破坏了。

由此得到一个结论 —— 就算所有的可变状态都是原子的,我们可能仍需要在封装类的层面进一步考虑同步策略,最简单直接的就是找出封装类内的所有复合操作:

  1. 对同一个变量 ( 反复 ) 读-改-写。
  2. 修改受某个不变性条件约束的多个变量。

正确地拓展同步策略

在大部分情况下,我们不能通过直接修改类源码的形式补充同步策略。比如,普通的 List<T> 接口不保证底下的各种实现是线程安全的,但我们可以通过类似代理的方式将线程安全委托给第三方。比如:

class ThreadSafeArrayList {
    private final List<Integer> list;
    public ThreadSafeArrayList(List<Integer> l){list =  l;}

    // 添加新的方法
    public synchronized boolean putIfAbsent(Integer a){
        if(list.contains(a)) {
            list.add(a);
            return true;
        }
        return false;
    }

    // 代理 add 方法,其它略
    public synchronized boolean add(Integer a) {
        return list.add(a);
    }

    // ...
}

事实上,Java 类库已经有了对应的线程安全类。通常,我们应当优先重用这些已有的类。在下方的代码块中,我们使用 Collection.synchronizedList 工厂方法创建一个线程安全的 list 对象,这样似乎就只需要为新拓展的 putIfAbsent() 方法加锁了。

class ThreadUnSafeArrayList {
    private final List<Integer> list = Collections.synchronizedList(new ArrayList<>());

    // 添加新的方法
    public synchronized boolean putIfAbsent(Integer a){
        if(list.contains(a)) {
            list.add(a);
            return true;
        }
        return false;
    }

    public boolean add(Integer a){return list.add(a);}
    //...
}

但是,上述的代码是错误的。为什么?问题在于,我们使用了错误的锁进行了同步。当调用的是 add 方法时,使用的是列表对象的内置锁;但调用 putIfAbsent 方法时,我们使用的却是 ThreadUnsafeArrayList 对象的内置锁。这意味着 putIfAbsent 方法对于其它的方法来说不是原子的,因此无法确保一个线程执行 putIfAbsent 方法时,其它线程是否会通过调用其它方法修改列表。

因此,想要让这个方法正确执行,我们必须要在正确的地方上锁。

class ThreadUnSafeArrayList {
    private final List<Integer> list = Collections.synchronizedList(new ArrayList<>());
    public boolean putIfAbsent(Integer a){
        synchronized (list){
            if(list.contains(a)) {
                list.add(a);
                return true;
            }
            return false;
        }
    }
}

同步容器

同步容器是安全的,但在某些情况下仍然需要客户端加锁。常见的操作如:

  1. 迭代;
  2. 跳转 ( 比如,寻找下一个元素 );
  3. 条件运算,如 "若没有则 XX 操作" ( 一种常见的复合操作 );

复合操作不受同步容器保护

这里有两个线程 T1,T2 分别会以不可预测的次序执行两个代码块,它们负责删除和读取 list 中的末尾元素。我们在这里使用的是库中的同步列表,因此可以确保 size(),remove(),get() 方法全部是原子的。但是,当程序以 x1,y1,x2,y2 的操作次序执行时,主程序最终仍然会抛出IndexOutOfBoundsException 异常。

class DemoOfConcurrentFail {

    public final List<Integer> list = Collections.synchronizedList(new ArrayList<>());

    {
        Collections.addAll(list, 1, 2, 3, 4, 5);
    }

    public static void main(String[] args) {
        var testList = new DemoOfConcurrentFail().list;

        Runnable t1 = () -> {
            var last = testList.size() - 1;  // x1
            testList.remove(last);  // x2
        };

        Runnable t2 = () -> {
            var last = testList.size() -1;  // y1
            var  r = testList.get(last);  // y2
            System.out.println(r);
        };

        new Thread(t1).start();
        new Thread(t2).start();

    }
}

究其原因,两个线程 T1,T2 执行的复合操作没有受锁保护 ( 实际上就是前文银行转账的例子中犯过的错误 )。所以正确的做法是对复合操作整体加锁。比如:

var mutex = new Object();

Runnable t1 = () -> {
    synchronized (mutex){
        var last = testList.size() - 1;  // x1
        testList.remove(last);  // x2
    }
};

Runnable t2 = () -> {
    synchronized (mutex){
        var last = testList.size() -1;  // y1
        var  r = testList.get(last);  // y2
        System.out.println(r);
    }
};

// ...

同步容器的迭代问题

在迭代操作中,类似的问题也仍然存在。无论是直接的 for 循环还是 for-each 循环,对容器的遍历方式是使用 Iterator。而使用迭代器本身也是先判断 ( hasNext ) 再读取 ( next ) 的复合过程。Java 对同步容器的迭代处理是:假设某一个线程在迭代的过程中发现容器被修改过了,则立刻失败 ( 也称及时失败 ),并抛出一个 ConcurrentModificationException 异常。

// 可能需要运行多次才能抛出 ConcurrentModificationException
Runnable t1 = () -> {
    // 删除中间的元素
    int mid =  testList.size() / 2;
    testList.remove(mid);
};

Runnable t2 = () -> {
    for(var item : testList){
        System.out.println(item);
    }
};

new Thread(t1).start();
new Thread(t2).start();

类似地,想要不受打扰地迭代容器元素,我们也要在 for 循环的外面加锁,但是可能并不是一个好的主意。假如容器的规模非常大,或者每个元素的处理时间非常长,那么其它等待容器执行短作业的线程会因此陷入长时间的等待,这会带来活跃性问题。

一个可行的方法就是实现读写分离 —— 一旦有写操作,则重新拷贝一份新的容器副本,而在此期间所有读操作则仍在原来的容器中进行,实现 "读-读共享"。当读操作远多于写操作时,这种做法无疑可以大幅度地提高程序的吞吐量,见后文的并发容器 CopyOnWriteArrayList。

警惕隐含迭代的操作

不仅是显式的 for 循环会触发迭代。比如容器的 toString 方法在底层调用 StringBuilder.append() 方法依次将每一个元素的字符串拼接起来。除此之外,包括 equals,containsAll,removeAll,retainAll,乃至将容器本身作为参数的构造器,都隐含了对容器的迭代过程。这些间接的迭代错误都有可能抛出 ConcurrentModificationException 异常。

并发容器

考虑到重量级锁对性能的影响,Java 后续提供了各种并发容器来改进同步容器的性能问题。同步容器将所有操作完全串行化。当锁竞争尤其激烈时,程序的吞吐量将大大降低。因此,使用并发容器来替代同步容器,在绝大部分情况下都算是一顿 "免费的午餐"。

ConcurrentHashMap

ConcurrentHashMap 使用了更小的封锁粒度换取了更大程度的共享,这个封锁机制称之为分段锁 ( Lock Stripping )。简单点说,就是每一个桶由单独的锁来保护,操作不同桶的两个线程不需要相互等待。好处是,在高并发环境下,ConcurrentHashMap 带来了更大的吞吐量,但问题是,封锁粒度的减小削弱了容器的一致性语义,或称弱一致性 ( Weakly Consistent )。

比如说需要在整个 Map 上计算的 size() 和 isEmpty() 方法,弱一致性会使得这些方法的计算结果是一个过期值。这考虑到是一个权衡,因为在并发环境下,这两个方法的作用很小,因为其返回值总是不断变化的。因此,这些操作的需求被弱化了,以换取其它更重要的性能优化,比如 get,put,cotainsKey,remove 等。

因此,除非一部分严谨的业务无法容忍弱一致性,否则并发的 HashMap 是要比同步 HashMap 更优的选择。

CopyOnWriteArrayList

该工具在读操作远多于写操作的场合下能够提供更好的并发性能,在迭代时不需要对容器进行加锁或者复制。当发生修改时,该容器会创建并重新发布一个新的容器副本。在新副本创建之前,一切读操作仍然以旧的容器为准,因此这不会抛出 ConcurrentModificationException 问题。

相对的,如果频繁调用 add,remove,set 等方法,则该容器的吞吐量会大大降低,因为这些操作需要反复调用系统的 copy 方法复制底层的数组 ( 这也是没有设计 "CopyOnWriteLinkedList" 的原因,因为拷贝的效率会更低 )。同时,写入时复制的特性使得 CopyOnWriteArrayList 是弱一致性的。

阻塞队列 & 生产者 — 消费者模式

阻塞队列,简单地说,就是当队列为空时,执行 take 操作会进入阻塞状态;当队列满时,执行 put 操作也会进入阻塞状态。阻塞队列也可以分有界队列和无界队列。无界队列永远不会充满,因此执行 put 方法永远不会进入阻塞状态。但是,如果生产者的执行效率远超过消费者,那么无界队列的无限扩张最终会耗尽内存。有界队列则可以保证当队列充满时,生产者被 put 阻塞,通过这种方式来让消费者赶上工作进度。

可以用阻塞队列实现生产者 — 消费者模式,最常见的生产者 — 消费者模式是线程池与工作队列的组合。这种模式将 "发布任务" 与 "领取任务" 解耦,最大的便捷是简化了复杂的负载管理,因为生产者和消费者的执行速度并不总是相匹配的。同时,生产者和消费者的角色是相对的。比如处于流水线中游的组件,它们既作为上游的消费者,也作为下游的生产者。

Java 库已经包含了关于阻塞队列的多种实现,它自身保证 put 和 take 操作是线程安全的。

  1. LinkedBlockingQueue 和 ArrayBlockingQueue:此两者的区别可以参考 Link 和 Array,见:ArrayBlockingQueue 和 LinkedBlockingQueue。两者均为 FIFO 的队列。
  2. PriorityBlockingQueue:优先级队列,当我们希望以一定次序处理任务时,它要比 FIFO 队列更实用。
  3. SynchronousQueue:译为同步阻塞队列。这个队列事实上没有缓存空间,而是维护一组可用的线程。当队列收到消息时,它可以立刻分配一个线程去处理。但是如果没有多余的工作线程,那么调用 put 或者 take 会立刻陷入阻塞状态。因此,仅当有足够多的消费者,并且总是有一个消费者准备好获取交付的工作时,才适合使用同步队列。

下方的代码块是由 SynchronousQueue 实现的简易 Demo,每个线程会抢占式消费消息。

var chan = new SynchronousQueue<Integer>();

var worker = new Thread(()->{
    while(true){
        try {
            final var x = chan.take();
            System.out.println("t1 consume: " + x);
        } catch (InterruptedException e) {e.printStackTrace();}
    }
});

var worker2 = new Thread(()->{
    while(true){
        try {
            final var x = chan.take();
            System.out.println("t2 consume: " + x);
        } catch (InterruptedException e) {e.printStackTrace();}
    }
});

worker.start();
worker2.start();

for(var i = 0 ; i < 10; i ++) chan.put(i);

基于所有权的角度去分析,生产者 — 消费者模式和阻塞队列一起促进了 串行的线程封闭。线程封闭对象只能由单个对象拥有,但可以通过在执行的最后发布该对象 ( 即表示之后不会再使用它 ),以表示 "转让" 所有权。

阻塞队列简化了转移的逻辑。除此之外,还可以通过 ConcurrentMap 的原子方法 remove,或者是 AtomicReference 的 compareAndSet ( 即 CAS 机制 ) 实现安全的串行线程封闭。

双端队列和工作窃取

Java 6 之后增加了新的容器类型 —— Deque 和 BlockDeque,它们是对 Queue 以及 BlockingQueue 的拓展。Deque 实现了再队列头和队列尾的高效插入和移除,具体实现包括了 ArrayDeque 和 LinkedBlockingDeque。

双端队列适用于另一种工作模式 —— 工作窃取 ( Work Stealing )。比如,一个工作线程已经完成清空了自己的任务队列,它就可以从其它忙碌的工作线程的任务队列的尾部获取队列。这种模式要比生产者 —— 消费者具备更高的可伸缩性,因为工作线程不会在单个共享的任务队列上发生竞争。

工作窃取特别适合递归的并发问题,即执行一个任务时会产生更多的工作,比如:Web 爬虫,GC 垃圾回收时的图搜索算法。

阻塞和中断方法

线程可能会被阻塞,或者是暂停执行,原因有多种:等待 I/O 结束,等待获得锁,等待从 Thread.sleep 中唤醒,等待另一个线程的计算结果。被阻塞的线程必须要在这些 "外因" 被解决之后才有机会继续执行,即恢复到 RUNNABLE ( 也称就绪 ) 状态,等待被再次调度 CPU 执行。

这段描述其实对应了 JVM 线程的两个状态:BLOCKING 和 WAITING。

  1. BLOCKING,当线程准备进入一段新的同步代码块时,因不能获得锁而等待。
  2. WAITING,当线程已经进入同步代码块之后,在执行的过程中因不满足某些条件而暂停。这时可以调用 waiting 方法 释放已占据的锁。其它工作线程得以抢占此锁并执行,直到满足先验条件为真时,其它线程可以通过 notifyAll 方法重新令监视此锁的所有 WAITING 线程再次争锁并继续工作。wait / notify / notifyAll 构成了线程之间的协商机制,见下面的代码块。
static class Status{public boolean v;}
public static void main(String[] args) throws InterruptedException{

    var status = new Status();
    status.v = false;

    var mutex = new Object();

    new Thread(()->{
        synchronized (mutex){
            System.out.println("get mutex");
            // 此时检测的状态为 false, 进入 WAITING 状态。
            if(!status.v) try {mutex.wait();} catch (InterruptedException e) {e.printStackTrace();}
            // 被唤醒后重新检测状态为 true。
            System.out.println(status.v);
        }
    }).start();

    new Thread(()->{
        synchronized (mutex){
            // 将状态设置为 true,唤醒上面的线程
            status.v = true;
            mutex.notify(); 
        }
    }).start();

}

只有处于 RUNNABLE 状态的线程才会实际获得 CPU 使用权。

在 Java 中,一切会发生阻塞的方法都会被要求处理 InterruptedException 受检异常。调用阻塞方法的方法也会变成阻塞方法。线程内部有一个 boolean 类型的状态位表示中断,调用 interrupt 方法可以将该状态位标识为 true。但是这不意味着该线程就会立刻中断:

  1. 如果该线程并没有调用阻塞的方法并一直处于 RUNNABLE 状态,则标记中断不会有任何实际效果。
  2. 如果发起中断时目标线程正处于阻塞状态,则会抛出 InterruptedException 异常。

同步工具类

Java 还提供了诸如信号量 ( Semaphore ),栅栏 ( Barrier ),以及闭锁 ( Latch ) 作为同步工具类,它们都包含了一定的结构性属性:这些状态将决定执行同步工具类的线程是执行还是等待。

闭锁

闭锁是一种同步工具类,可以延迟线程的进度直到闭锁打开。在此之前,所有的线程必须等待,而在闭锁结束之后,这个锁将永久保持打开状态。这个特性适用于 需要确保某个任务的前序任务 ( 比如初始化 ) 全部完成之后才可以执行的场合,见下方的代码:Worker 线程等待另两个初始化线程准备就绪之后输出 p 的结果。

// class Point{int x,y;}
final var p = new Point();
final var p_latch = new CountDownLatch(2);

// Worker
new Thread(()->{
    try {p_latch.await();} catch (InterruptedException e) {e.printStackTrace();}
    System.out.printf("Point(x=%d,y=%d)",p.x,p.y);
}).start();

// Init x
new Thread(()->{
    p.x = 1;
    p_latch.countDown();
}).start();

// Init y
new Thread(()->{
    p.y = 2;
    p_latch.countDown();
}).start();

FutureTask 也可以拿来做闭锁,它实现了 Future 的语义,表示一个抽象的可生成结果的计算,一般需要由线程池驱动执行,表示一个异步的任务。

Runnable 接口表示无返回值的计算,Callable 代表有返回值的计算。

final var futurePoint = new FutureTask<>(()->new Point(1,2));

new Thread(futurePoint).start();
new Thread(()->{
    try {
        // 在 Callable 计算出结果之前阻塞
        var p = futurePoint.get();
        System.out.printf("Point(x=%d,y=%d)",p.x,p.y);
    } catch (InterruptedException | ExecutionException e) {
        e.printStackTrace();
    }
}).start();

信号量

计数信号量用于控制某个资源的同时访问数量,通常用于配置有容量限制的资源池,或称有界阻塞容器。Semaphore 管理一组许可,线程在需要时首先获取许可,并在操作结束之后归还许可。如果许可数量被耗尽,那么线程则必须要阻塞到其它任意线程归还许可 ( 默认情况下遵循 Non-Fair 策略 ) 为止。特别地,当信号量的许可数为 1 时,则可认为是不可重入的互斥锁。

下面是一个利用信号量 + 同步容器实现的简易阻塞队列:

class BoundedBlockingQueue<E>{
    final private List<E> list = Collections.synchronizedList(new LinkedList<>());
    final private Semaphore se;

    public BoundedBlockingQueue(int cap){
        se = new Semaphore(cap);
    }

    public void enqueue(E e) throws InterruptedException {
        se.acquire();
        list.add(0,e);
    }

    public E dequeue(){
        final var done = list.remove(0);
        se.release();
        return done;
    }

    @Override
    public String toString() {
        return "BoundedBlockingQueue{" +
                "list=" + list +
                '}';
    }
}

栅栏

栅栏 ( Barrier ) 类似于闭锁,同样都会阻塞到某一个事件发生。闭锁强调等待某个事件发生之后再执行动作,而栅栏更强调在某个事件发生之前等待其它线程。它可用于实现一些协议:"所有人在指定的时间去会议室碰头,等到所有的人到齐之后再开会",比如数据库事务的两阶段提交。

Java 提供了一个名为 CyclicBarrier 的栅栏,它指定了 N 个工作线程 反复地 在栅栏位置汇集。在某线程执行完毕之后,调用 await() 方法阻塞自身,以等待其它更慢的线程到达栅栏位置。当设定的 N 个线程均调用 await() 之后,栅栏将打开,此时所有的线程将可以继续向下执行代码,而栅栏本身的状态会重置,以便复用 ( 因而命名为 Cyclic- )。

见下面的代码,4 个线程并行执行初始化工作 ( 以随机时间的 sleep 模拟延迟 ),并等待所有线程初始化完毕之后同时打印信息。

final int N = 4;
final var barrier =  new CyclicBarrier(N);
final Thread[] workers = new Thread[N];

for(var i : new Integer[]{0,1,2,3}){
    var t = new Thread(()->{
        try {
            // 模拟随机的延时
            var rdm = new Random().nextInt(1000);
            Thread.sleep(rdm);

            // 在所有其它线程到达之前阻塞
            barrier.await();

            // 所有线程到达之后执行,每个线程打印延时时间
            System.out.printf("prepare for %d millis\n",rdm);
        } catch (InterruptedException | BrokenBarrierException e) {
            e.printStackTrace();
        }
    });
    workers[i] = t;
    t.start();
}
// 等待所有的任务并行执行完毕。
for(var worker : workers){worker.join();}

在不涉及 IO 操作和数据共享的计算问题当中,线程数量为 NCPU 或者 NCPU + 1 时会获得最优的吞吐量,更多的线程也不会带来带来帮助,甚至性能还会下降,因为 CPU 需要频繁的切换上下文。

一旦线程成功地到达栅栏,则 await() 方法会其标记为 "子线程"。CyclicBarrier 的构造器还接受额外的 Runnable 接口做回调函数,当所有线程全部到达栅栏之后,CyclicBarrier 会从子线程当中挑选出一个领导线程去执行它 ( 即,每一轮通过栅栏之后,它都会被执行且仅一次 ),我们可以在此实现日志记录等操作。

final var barrier =  new CyclicBarrier(N,()->{
    System.out.println("all runners ready");
});

在并行任务中构建高效的缓存

为了用简单的例子说明问题,我们在这里特别强调并行 ( Parallel ) 任务,这些任务的计算过程是纯粹 ( Pure ) 的 —— 这样的函数被称之纯函数。无论它们何时被调用,被哪个线程调用,同样的输入永远得到同样的输出。纯函数不和外部环境交互,因此自然也就不存在竞态条件。

一个非常自然的想法是使用缓存 ( 或称记忆机制 Memorized ) 避免重复的运算。在纯粹的映射关系中,固定的输入总是对应固定的输出,因此使用 K-V 键值对来记忆结果再好不过了。我们基于 HashMap 给出最简单的一版实现,然后再探讨如何改进它们。

class MapCacheV1 {
    private final HashMap<Integer,String> cache = new HashMap<>();
    public synchronized String getResult(Integer id){
        var v = cache.get(id);
        if (v == null){
            // 设定中,这个静态方法具有 500ms 左右的延迟。
            v = PURE.slowOperation(id);
            cache.put(id,v);
        }
        return v;
    }
}

尽管我们打算将 MapCache 用于无竞态条件的并行任务,但 getResult() 方法仍然加上了同步锁,因为 HashMap 本身不是线程安全的,cache 需要以安全的方式被并发访问。然而,这种做法无疑会使得 getResult() 方法变得十分笨重,因为原本可以并行的慢操作 PURE.slowOperation() 也被锁在了代码块内部。

最先想到的是使用更加高效的 ConcurrentHashMap 类取代线程不安全的 HashMap,以获得免费的多线程性能提升:

class MapCacheV2 {
    private final ConcurrentHashMap<Integer,String> cache = new ConcurrentHashMap<>();
    public String getResult(Integer id){
        var v = cache.get(id);
        if(v == null){
            v = PURE.slowOperation(id);
            cache.put(id,v);
        }
        return v;
    }
}

同时,我们这一次取消掉了 getResult() 上的同步锁。这样,多线程可以并行地执行慢操作,只在修改 cache 时发生竞争。但这个缓存仍有一些不足 —— 当某个线程 A 在计算新值时 ( 即这 500ms 之内 ),其它线程并不知道。因此,多个线程有可能会计算同一个新值,甚至导致其它的计算任务无法进行。

针对这个问题,我们再一次提出改进。不妨让 cache 保存 "计算过程",而非值。这样,工作线程将有三种行为:

  1. 缓存中没有此计算任务,注册并执行。
  2. 缓存中有此计算任务,但未完毕,当前线程阻塞 ( 将 CPU 让给其它需要计算的线程 )。
  3. 缓存中有此计算任务,且已计算完毕,直接返回。

回顾前文在闭锁中提到的 FutureTask<V> 类型,它适合用于当前的实现,见下方的代码:

class MapCacheV3 {

    private final ConcurrentHashMap<Integer,FutureTask<String>> cache = new ConcurrentHashMap<>();
    public String getResult(Integer id) throws ExecutionException, InterruptedException {
        // 获取一个计算任务,而非值
        final var task = cache.get(id);
        if(task == null){
            final var newTask = new FutureTask<>(()-> PURE.slowOperation(id));
            // cache.putIfAbsent()
            cache.put(id,newTask);
            newTask.run();
            // 提交并执行任务。
            return newTask.get();
        }else return task.get();
    }
}

MapCacheV3 的实现已经近乎完美了。唯一不足的是:我们对 cache 的操作仍然是 "先判断后执行" 的复合操作,但现在 getResult 并没有同步锁的保护。两个线程仍然同时调用 cache.get() 并判空,并开始执行重复的计算。

下面的版本给出了最终的解决方案:使用 ConcurrentMap 的 putIfAbsent() 原子方法修复可能重复添加计算任务的问题。

class MapCacheV4 {

    private final ConcurrentHashMap<Integer,FutureTask<String>> cache = new ConcurrentHashMap<>();
    public String getResult(Integer id) throws ExecutionException, InterruptedException {
        final var task = cache.get(id);
        if(task == null){
            final var newTask = new FutureTask<>(()-> PURE.slowOperation(id));
            // put 和 putIfAbsent 方法均会返回此 Key 对应的上一个旧值 Value。
            // 如果 put 的是一个新的 Key,则返回值为 null。
            final var running = cache.putIfAbsent(id,newTask);
            if(running == null) {newTask.run();return newTask.get();} else return running.get();
        }else return task.get();
    }
}

值得注意的是,一旦 cache 存储的是计算任务而非值,那么就可能存在缓存污染的问题。一旦某个 FutureTask 的计算被取消,或者失败,应当及时将它从缓存中移除以保证将来的计算成功,而不是放任其驻留在缓存内部返回失败的结果。

缓存思想几乎应用在各个地方。比如在 Web 服务中,用户的数据往往不会总是直接来自数据库,而是 Redis 这样的消息中间件。在实际的应用环境下,还有更加复杂的问题需要被考虑到,比如缓存内容过时 ( expired ),或者是定期清理缓存空间等。

下面的并发编程中列举了安全并发的实用规则:

  1. 可变状态越少,越容易确保一个类的并发安全性。
  2. 不可变状态一定是线程安全的,因此尽可能使用 final 修饰域。
  3. 将多个需要维护且相关的状态封装到一个类管理 ( OOP 的另一种阐述 )。
  4. 在并发环境中,使用锁保护可变变量。
  5. 使用正确的同步原语对整个复合操作加锁。
  6. 使用同一把锁保护在一个不变性条件中的变量。
virtuoso根据原理图绘制版图并联接_virtuoso画原理图 Virtuoso Schematic Editor 电路仿真一、Virtuoso Schematic Editor 实验目的:掌握电原理图(schematic)设计输入方法。 [1]启动 IC Design 软件 启动 软件: 开机后运行......2.绘制原理图 新建工程后打开的是默认的原理图文件 SCHEMATIC1 PAG...存盘 完成原理图的绘制后,将原理图存盘. 三 . 用 Check... 阅读详情

相关推荐

YOLOv8傻瓜式教程

YOLOv8傻瓜式教程,附带详细参数配置。

Father_of_Python的博客 1万+

java-多线程工具类(ConcurrentUtils)

在现代 Java 应用开发中,多线程编程是不可或缺的一部分,特别是在处理高并发、大规模数据处理、异步任务执行等场景时,良好的多线程管理是提高程序性能和响应速度的关键。然而,手动管理线程、线程池、同步机制等复杂的任务极易引发并发问题,如死锁、资源争用和线程饥饿等问题。因此,设计一个通用且高效的多线程工具类可以极大简化开发者在多线程编程中的工作。

Flying_Fish_roe的博客 1932

AUTOSAR OS

AUTOSAR OS总共包含以下。Core中基本对象关系如上图所示,以单核为例,。每个基本对象必须从属于某个OS Application,否则会出现错误。同时OS Application可分为Trusted与Not Trusted这两种类型。

2301_76563067的博客 2343

Java中的并发包java.util.concurrent提供了哪些并发工具类

这些类和接口提供了Java并发编程的强大基础,允许开发人员有效地编写线程安全的代码,处理并发任务和数据交换。Java中的并发包java.util.concurrent提供了哪些并发工具类?包提供了许多用于处理并发编程的工具类和接口。

wssc63262的博客 694

可视化工具--Plotly

随着信息技术的发展和硬件设备成本的降低,当今的互联网存在海量的数据,要想快速从这些数据中获取更多有效的信息,数据可视化是重要的一环。对于Python语言来说,比较传统的数据可视化模块是Matplotlib,但它存在不够美观、静态性、不易分享等缺点,限制了Python在数据可视化方面的发展。   为了解决这个问题,新型的动态可视化开源模块Plotly应运而生。由于Plotly具有动态、美观、易用、种类丰富等特性,所以一经问世就受到开发人员的喜爱。

YFater的博客 1万+

BES2700的PMU

BES2700ZP-BES2700芯片的PMU架构分析摘要:本文档分析了BES2700芯片的电源管理单元(PMU)架构。实际应用中仅需为VBAT引脚供电,其余电源均由芯片内部PMU提供。文档包含架构示意图、问题列表和参考链接,涉及PMU工作原理、外部供电要求等关键技术点。待解决问题包括具体供电参数和内部电源转换机制等。通过添加日志信息和代码片段,为开发人员提供了调试PMU功能的实用方法。

云淡风轻 119

怎么判断一个Java类是否是线程安全?有那些角度?

最近遇到一个面试的问题,面试官问我给我一个Java类你怎么判断它是否是线程安全?有那些角度可以判断它是否安全? 我当时回答: 我说看 临界资源是否被抢夺,是否用到锁 如果这个类在单线程下跑出的结果 和在多线程下跑出的结果 数据一致 就是线程安全。 是否是在线程写的情况下 出现数据不一致 … 反正回答的不是太好。 然后问我线程安全的角度 ? 当时有点懵逼 回答的不太好… 事后我问了一下度娘,觉得以下回答很合理。在此记录。 程序次序规则:一个线程内,代码的执行会按照程序书写的顺序 管程锁定原则:对同一变量的un

启迪思维,精进技术 2412

SpringBoot集成auth0-jwt插件,实现jwt的token生成、校验,用户登录验证,配置拦截器拦截请求校验token功能

该文章介绍了SpringBoot如何集成auth0-jwt插件,实现jwt的token生成、校验,用户登录验证,配置拦截器拦截请求校验token功能. JWT(JSON Web Token)是一种开放标准(RFC 7519),用于在各方之间安全地传输信息。它以JSON对象的形式存在,并使用数字签名来验证信息的完整性和真实性。JWT由三部分组成,分别是Header、Payload和Signature。

yunnuo的博客 1247

Java中的并发工具类与线程安全实现

Java中的并发工具类和线程安全实现为开发者提供了丰富的选择,能够有效地管理多线程之间的竞争和共享资源,提高系统的并发性能和稳定性。Java提供了丰富的并发工具类和线程安全实现,帮助开发人员简化并发编程的复杂性,有效地管理线程之间的竞争条件和共享资源。等,它们能够以原子操作的方式更新变量的值,保证了线程安全性,避免了使用锁的性能开销。大家好,我是微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!等,用于控制多个线程之间的同步和协作,可以实现线程之间的等待、通知和并发控制。

聚娃科技开发者博客 505

从零开始玩转边缘 AI:Jetson Nano 深度学习环境搭建与 YOLOv5 部署指南

Jetson Nano是NVIDIA推出的嵌入式AI开发板,凭借其强大的GPU计算能力和完善的软件生态系统,成为边缘AI部署的理想平台。本教程源于作者团队参加2024中国机器人大赛暨RoboCup机器人世界杯中国赛机器人先进视觉3D识别赛道的实战经验,是一份经过验证的环境部署指南。

LXY_LOVE36的博客 234

GEE 案例:利用多源遥感数据计算RUSLE(Revised Universal Soil Loss Equation)土壤侵蚀

该数据集提供了全球范围内以250至500米的空间分辨率获取的多光谱图像数据,用于监测地表覆盖和变化。RUSLE模型的基本原理是通过考虑土壤侵蚀的主要驱动因素,来估计土壤侵蚀的速率。该数据集提供了全球范围内以10至60米的空间分辨率获取的多光谱图像数据,用于监测地表覆盖和变化。它对农业和土地资源管理者提供了一种评估和预测土壤侵蚀风险的工具,以制定适当的土壤保护措施和决策。2. soil(土壤)是来自OpenLandMap的土壤纹理分类数据,使用了USDA(美国农业部)土壤纹理分类系统。

此星光明博客 806

盘点java中线程安全的组件

在java中有很多已经为我们提供好的线程安全的组件,在并发中使用这些组件并不用担心线程安全的问题,使用起来很方便,在本篇本章中我主要总结了八种线程的组件,分别是Vector和所有的原子类。下面本将介绍其的使用方法以及其为什么是安全的。

深夜无眠的博客 1269

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Java 同步工具与组合类的线程安全性分析

同时,生产者和消费者的角色是相对的。一个可行的方法就是实现读写分离 —— 一旦有写操作,则重新拷贝一份新的容器副本,而在此期间所有读操作则仍在原来的容器中进行,实现 "读-读共享"。等方法,则该容器的吞吐量会大大降低,因为这些操作需要反复调用系统的 copy 方法复制底层的数组 ( 这也是没有设计 "CopyOnWriteLinkedList" 的原因,因为拷贝的效率会更低 )。假如容器的规模非常大,或者每个元素的处理时间非常长,那么其它等待容器执行短作业的线程会因此陷入长时间的等待,这会带来活跃性问题。

m0_73311735的博客 108

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

同步工具Java 与组合类的线程安全性解析

好处是,在高并发环境下,ConcurrentHashMap 带来了更大的吞吐量,但问题是,封锁粒度的减小削弱了容器的一致性语义,或称弱一致性 ( Weakly Consistent )。相对的,如果频繁调用 add,remove,set 等方法,则该容器的吞吐量会大大降低,因为这些操作需要反复调用系统的 copy 方法复制底层的数组 ( 这也是没有设计 “CopyOnWriteLinkedList” 的原因,因为拷贝的效率会更低 )。比如处于流水线中游的组件,它们既作为上游的消费者,也作为下游的生产者。

我的博客,不一样的自我表达 192

Java并发学习之对象的组合(设计线程安全的类)

一.本章概述 本章将介绍一些组合模式,这些模式能够使一个类更容易成为线程安全的类,并且在维护这些类时不会无意的破坏类的安全性保证。 学习目标: 1.设计线程安全的类 2.实例封闭 3.线程安全性的委托 4.在现有的线程安全的类中添加功能 二.具体学习 1.设计线程安全的类 在设计线程安全的类的过程中,需要包含下面三个要素: 1)找出构成对象状态的所有变量 要分析对象的状态,首先从对象的域开始: a.如果对象中所有的域都是基本类型的变量,那么这些域将构成对象的全部状态 b.如果在对象的域中引用了其他的对象,那

c1776167012的博客 267

java中是否可以继承 String 类

String类的不可变性是Java设计中的一个重要特性。线程安全:由于String对象的内容不可改变,所以多个线程可以安全地共享同一个String对象,而不需要同步。哈希缓存String的hashCode()方法会缓存计算结果,由于字符串的内容不会改变,这个值可以被安全地重复使用。这提高了String作为键值存储在HashMap或HashSet中的效率。字符串池:Java中的字符串池(String Pool)是一个专门用于存储字符串字面量的内存区域。

Flying_Fish_roe的博客 1276

揭秘Java设计模式:5大创建型模式如何提升代码可维护性?

掌握Java设计模式案例,提升代码可维护性与扩展性。详解单例、工厂、抽象工厂、建造者和原型5大创建型模式的应用场景与实现方法,解决对象创建耦合问题。结构清晰,便于复用,值得收藏。

CodePulse的博客 1084

Java Map 集合类简介

HashTable和HashMap的区别相信这个是大家最容易混淆的。 HashMap和Hashtable(线程安全)都实现了Map接口,但决定用哪一个之前先要弄清楚它们之间的分别。主要的区别有:线程安全性,同步(synchronization),以及速度。HashMap几乎可以等价于Hashtable,除了HashMap是非synchronized的,并可以接受null(HashMap allow

憧憬的专栏 1580

23个设计模式一文搞懂

本笔记涵盖 23 种经典设计模式,按创建型、结构型、行为型三大类整理。每个模式配有生活类比、核心思想、结构图解、实现要点、真实应用案例、适用场景、优缺点分析及常见面试题。

weixin_72753562的博客 804

深入剖析Java并发工具类:线程安全、线程池、并发集合与框架实战详解

最大线程数是指线程池中允许的最大线程数量,当任务队列满了之后,如果还有新的任务到来,就会创建新的线程,直到达到最大线程数。例如,在一个大数据处理的场景中,一个任务可能需要处理大量的数据,我们可以将这个任务分解成多个子任务,每个子任务处理一部分数据,然后将子任务的结果合并起来。例如,在一个并行计算的场景中,多个线程可能会同时计算一个任务的不同部分,但是每个线程在完成自己的部分之后,都需要等待其他线程也完成自己的部分,然后一起继续执行。是一个基于链表的阻塞队列,它的容量可以是无界的,也可以是有限的。

1189

使用了并发工具类库,线程安全就高枕无忧了吗?

在代码审核讨论的时候,我们有时会听到有关线程安全和并发工具的一些片面的观点和结论,比如“把 HashMap 改为 ConcurrentHashMap,就可以解决并发问题了呀”“要不我们试试无锁的 CopyOnWriteArrayList 吧,性能更好”。事实上,这些说法都不太准确。 的确,为了方便开发者进行多线程编程,现代编程语言会提供各种并发工具类。但如果我们没有充分了解它们的使用场景、解决的问题,以及最佳实践的话,盲目使用就可能会导致一些坑,小则损失性能,大则无法确保多线程情况下业务逻辑的正确性。

qq_64513388的博客 246

线程安全问题

前言:好久没更文啦,最近打算把前面总结的一些文章发出来~ 之前在一次开发中进行时间格式化,遇到了线程安全问题,遂小结一下 SimpleDateFormat 现象 SimpleDateFormat类图 该图片摘自网络,侵删! 线程不安全因素 多个线程同时调用parse时,可能发生: 返回数据又被clear清空的对象 设置好的cal对象又被其它线程修改 解决方式 创建局部变量(缺点:每次使用都需 new一个对象,开销大) 加锁(缺点:高并发情况下性能较差,多个线程需要竞争锁

swhuan007的博客 585
上一篇: 10w条数据仅需2秒,浅谈MyBatis批量插入方法
下一篇: 5年开发码农,靠着这部kafka核心设计,成功入职阿里,定级P7
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值