stream流根据对象指定字段去重或者获取重复数据

一. 前言：

小熙最近看到相关的stream根据对象指定字段去重方法，想来分享下。试过其他的如stream中转treeSet或map或分组等，但是感觉都太麻烦了。

二. 代码：

1. 封装类：

   import java.util.Map;
   import java.util.concurrent.ConcurrentHashMap;
   import java.util.function.Function;
   import java.util.function.Predicate;
   
   /**
    * 程熙cjp：https://blog.youkuaiyun.com/weixin_41133233
    * 操作去重工具类
    *
    * @author chengxi
    * @date 2020/3/17 17:15
    */
   public class DeduplicationUtil {
   
       /**
        * 自定义函数去重（采用 Predicate函数式判断，采用 Function获取比较key）
        * 内部维护一个 ConcurrentHashMap，并采用 putIfAbsent特性实现
        *
        * @param keyExtractor
        * @param <T>
        * @return
        */
       public static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
           Map<Object,Boolean> seen = new ConcurrentHashMap<>();
           return t -> seen.putIfAbsent(keyExtractor.apply(t), Boolean.TRUE) == null;
       }
   
       /**
        * 只获取重复的数据
        * 
        * @param keyExtractor
        * @param <T>
        * @return
        */
       public static <T> Predicate<T> distinctNotByKey(Function<? super T, ?> keyExtractor) {
           Map<Object,Boolean> seen = new ConcurrentHashMap<>();
           return t -> seen.putIfAbsent(keyExtractor.apply(t), Boolean.TRUE) != null;
       }
   
   }
   

2. 示例：

   // 注意需要关流之后，才会完成去重，如果继续操作流可能拿到未去重的数据
   List<TraceLogEchoVO> logEchoVOList = traceLogEchoVOList.stream()
            .filter(DeduplicationUtil.distinctByKey(TraceLogEchoVO::getVisitorNo))
            .collect(Collectors.toList());
   

三. 后语

注意需要关流之后，才会完成去重，如果继续操作流可能会拿到未去重的数据。如果有比小熙更好的方法，也请您分享下哦。