【小工具】1.需要对txt存放的测试数据做去重处理

最新推荐文章于 2025-10-18 13:53:06 发布

原创最新推荐文章于 2025-10-18 13:53:06 发布 · 80 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一种使用Python进行文本去重的方法，通过读取原始文件并利用集合数据结构过滤重复行，最后将不重复的内容写入新文件。这种方法简单有效，适用于处理大量文本数据的去重需求。

采用集合去重，在新文件里逐行写入，达成目的

old_file = "D:/testdata/memberId.txt"  #old
result_file = "D:/testdata/memberId_new.txt" #new
lines_seen = set()
out_file = open(result_file, "w")
f = open(old_file, "r")
for line in f:
  if line not in lines_seen:
    out_file.write(line)
    lines_seen.add(line)
out_file.close()
print("distinct_success")