数组去重实战指南：5种语言9种方法任你选（附性能对比）

一、为什么数组去重是必修课？（真实案例翻车现场）

上周隔壁组的小王差点被开除！这哥们处理用户数据时，忘记给10万条手机号数组去重，直接导致短信接口超额调用（多发了几万条短信啊老铁！）。老板脸都绿了，这就是典型的基础功不扎实惹的祸！

日常开发中咱们会遇到各种需要去重的场景：

• 用户提交表单数据去重（防止重复提交）
• 日志分析时过滤重复记录
• 电商平台的商品ID排重
• 物联网设备数据清洗

今天咱们就手把手教你不同语言数组去重的骚操作，文末还有性能对比测试（绝对让你惊掉下巴）！

二、Python篇：这几种方法你试过吗？

方法1：传统艺能之set大法（适合小白）

origin_list = [2,3,5,2,8,3]
unique_list = list(set(origin_list))
print(unique_list)  # 输出 [2, 3, 5, 8] 

⚠️ 注意：set会打乱原顺序！需要保持顺序看方法2

方法2：有序字典黑科技（Python3.7+专属）

from collections import OrderedDict
origin = [5,3,9,3,7,5]
unique = list(OrderedDict.fromkeys(origin))
print(unique)  # [5,3,9,7] 完美保持顺序！

方法3：列表推导式+index（经典永不过时）

origin = ['a','b','a','c','b']
unique = [x for i,x in enumerate(origin) if origin.index(x) == i]
print(unique)  # ['a','b','c']

三、JavaScript篇：ES6带来的革命

方法1：Set一行流（现代浏览器都支持）

const arr = [1,2,2,3,3,3];
const unique = [...new Set(arr)];
console.log(unique); // [1,2,3]

方法2：filter+indexOf（兼容IE的备胎方案）

var arr = ['apple','orange','apple'];
var unique = arr.filter(function(item, index){
    return arr.indexOf(item) === index;
});

方法3：reduce花式操作（装X必备）

const arr = [10,20,10,30];
const unique = arr.reduce((acc, cur) => {
    return acc.includes(cur) ? acc : [...acc, cur];
}, []);

四、Java篇：面向对象的花式操作

方法1：Stream API（Java8+推荐）

List<Integer> list = Arrays.asList(1,2,1,3,2);
List<Integer> unique = list.stream()
                          .distinct()
                          .collect(Collectors.toList());

方法2：老派HashSet方案

List<String> list = new ArrayList<>(Arrays.asList("a","b","a"));
Set<String> set = new LinkedHashSet<>(list); // 保持顺序
List<String> unique = new ArrayList<>(set);

方法3：双重循环暴力破解（新手勿学！）

// 仅供反面教材参考！
for(int i=0; i<list.size(); i++){
    for(int j=i+1; j<list.size(); j++){
        if(list.get(i).equals(list.get(j))){
            list.remove(j);
            j--; // 重要！删除元素后索引回退
        }
    }
}

五、性能大比拼：百万数据见真章

测试环境：Intel i7-12700H / 32GB DDR5 / 测试数据：1,000,000个随机整数

方法	Python(ms)	JS(ms)	Java(ms)
Set/HashSet	58	45	32
有序去重	210	-	68
Stream API	-	-	95
双重循环	超时	卡死	超时

（震惊！）Java的HashSet方案竟然比Python快近一倍！而最慢的双重循环在百万数据下直接超时（千万别用！）

六、最佳实践总结（血泪经验）

1. 数据量小（<1万）：随便造，set一把梭就行
2. 需要保序：Python用OrderedDict，Java用LinkedHashSet
3. 超大数据（>100万）：
   • 先抽样分析数据特征
   • 分批处理+内存优化
   • 考虑上Redis的HyperLogLog
4. 特殊场景：
   • 对象数组去重：要重写hashCode和equals（Java）
   • 多条件去重：用复合键（如：字符串拼接多个字段）

最后送大家一个防翻车口诀：

去重之前想三点，顺序内存和时间
暴力方法一时爽，数据大了火葬场！

下次遇到数组去重，别再说"我只会用set"啦！根据不同场景选择合适的方法，才能写出既高效又优雅的代码~