python将文件中的数据去重

去除文件重复行

最新推荐文章于 2025-07-03 13:48:22 发布

为援不可图

最新推荐文章于 2025-07-03 13:48:22 发布

阅读量3k

点赞数

CC 4.0 BY-SA版权

分类专栏：技术之路文章标签： python

本文链接：https://blog.youkuaiyun.com/qq_32113189/article/details/79591373

技术之路专栏收录该内容

61 篇文章

订阅专栏

本文介绍了一个简单的Python脚本，用于去除文本文件中的重复行。该脚本适用于小文件，对于大文件可能运行时间较长。通过读取源文件，检查每一行是否已经存在，如果不存在则写入到目标文件中。

# -*- coding: utf-8 -*-
'''
只使用与较小的文件，比较大的文件运行时间长
'''
def fenhang(infile,outfile):

    infopen = open(infile,'r',encoding='utf-8')
    outopen = open(outfile,'w',encoding='utf-8')
    lines = infopen.readlines()
    list_1 = []
    for line in lines:
        if line not in list_1:
            list_1.append(line)
            outopen.write(line)
    infopen.close()
    outopen.close()
fenhang("源文件路径","目标文件路径")