Java去除文件中的重复行_java实现文档内容去重-优快云博客

本文链接：https://blog.youkuaiyun.com/gnf_cc/article/details/77920225

本文介绍了一种使用Java程序批量去除文件中重复数据的方法。通过读取文件的每一行并与已存储的数据进行对比，可以有效地筛选出不重复的数据。此方法相较于Excel手动操作更为高效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

几天在做数据校正的时候，其中有一个流程需要在几千行数据中剔除掉其中重复的数据，这个工作量就比较大了，虽然 excel 也有去除重复行的功能，但想到 IO 流中有读取一行数据的方法，如果用程序实现，应该要比用 excel 处理快很多，毕竟excel 还要来回的复制粘贴，而程序只要 run 一下就好了，下面就是具体实现代码

public static void main(String[] args) throws Exception {
        // 需要处理数据的文件位置
        FileReader fileReader = new FileReader(new File("E:\\tt.txt"));
        BufferedReader bufferedReader = new BufferedReader(fileReader);
        Map<String, String> map = new HashMap<String, String>();
        String readLine = null;
        int i = 0;

        while ((readLine = bufferedReader.readLine()) != null) {
            // 每次读取一行数据，与 map 进行比较，如果该行数据 map 中没有，就保存到 map 集合中
            if (!map.containsValue(readLine)) {
                map.put("key" + i, readLine);
                i++;
            }
        }

        for (int j = 0; j < map.size(); j++) {
            System.out.println(map.get("key" + j));
        }
    }