python简单的实现文件内容去重

文件去重

这里主要用的是set()函数，特别地，set中的元素是无序的，并且重复元素在set中自动被过滤。

测试文本为   data.txt

具体代码如下：

// 文件去重
#!/usr/bin/env python 
# -*- coding:utf-8 -*-
# 
# author  g7y12
#

file_list = []  #创建一个空列表
def out_file():
    #file_2 = open_file()
    file = "data.txt"    #打开需要去重的文件
    with open(file, "r", encoding="utf-8") as f:
        file_2 = f.readlines()
        for file in file_2:
            file_list.append(file)
        out_file1 = set(file_list)    #set()函数可以自动过滤掉重复元素
        last_out_file = list(out_file1)
        for out in last_out_file:
            with open("result.txt","a+",encoding="utf-8") as f:   #去重后文件写入文件里
                f.write(out+"\n")
                print(out)

if __name__ =="__main__":
    out_file()

   运行后结果

小结：set()去重后，元素顺序变了，如果文件不考虑去重后的顺序的话，可以用此种方法，简单快捷