最优去重算法探索

最优去重算法探索

标签（空格分隔）： 数据结构与算法 Java-Base

---

去重需求

1. 去重
2. 要统计最热门查询，首先就是要统计每个Query出现的次数，然后根据统计结果，找出Top 10

算法设计

双层遍历实现

实现逻辑：遍历源数组，依次比较当前元素arr[n]与arr[n + 1]…arr[last]，若相等标识重复元素，切记录唯一项到结果target。

时间复杂度：循环了(n+n-1+n-2+…+1)≈(n^2)/2，因为时间复杂度是不考虑系数的，所以是

$$O(n^2)$$

样本数据：正整数数组，只有一项为重复元素，99%不重复

执行结果耗时：

样本数	耗时
10w	1.247s
20w	4.971s
30w	36.773s

Code：

    private static void removeDuplicateByList(int[] arr) {

        List<Integer> target = new ArrayList<Integer>();    //处理结果数组

        startWatch();

        for (int i = 0; i < arr.length; i++) {

            if (arr[i] == -1) continue;
            for (int j = i + 1; j < arr.length; j++) {

                if (arr[i] == arr[j]) { //记录重复元素下标
                    arr[j] = -1;
                }
            }
            target.add(arr[i]);
        }
        stopWatch();
    }

Hash实现

实现逻辑：Set是一个不包含重复元素的collection，其本质是Map，通过元素的hashCode确定在Map数组的位置下标，相同位置下标且值不等，且入链表；相同位置下标且值相等则排除；理论上，最优情况是样本数组全部数据hash下标不相同，无需进行equal()比较，时间复杂度为O(1)

时间复杂度：最优情况

$$O(1)$$ 最坏情况 $$O(n)$$

样本数据：正整数数组，只有一项为重复项，99%不重复

执行结果耗时：

样本数	耗时
10w	0.016s
20w	0.023s
30w	0.025s
100w	0.198s

Code：

    private static void removeDuplicateBySet(int[] arr) {
        Set<Integer> target = new LinkedHashSet<Integer>();

        startWatch();
        for (int i = 0; i < arr.length; i++) {
            target.add(arr[i]);
        }
        stopWatch();
    }