Python之文本去重（基础版）

一. 环境

系统版本：windows10家庭版
Python版本： python3.7.1
IDE：sublime_text3

二. 用法

1. 目的：

在日常运维中，需要整理要更新数据库的sql语句，往往会因为疏忽而有大量重复，这样会容易误操作，所以这个脚本就是为了sql去重。
2.

import re
readdir="C:\\Users\\user\\Desktop\\sql.txt"
#readdir为已写好的sql文件位置，后缀必须为txt
writedir1="C:\\Users\\user\\Desktop\\newsql.txt"
#write1dir1为去重后的sql的文件位置
writedir2="C:\\Users\\user\\Desktop\\oldsql.txt"
#write1dir2为重复的sql的文件位置
lines=set()
f1=open(writedir1,'w')
f2=open(writedir2,'w')
f3=open(readdir,'r')
for line in f3:
	a=re.search('USE `my`;',line,re.IGNORECASE)
	b=re.search('USE `my_log`;',line,re.IGNORECASE)
	c=re.search('USE `my_dzbl`;',line,re.IGNORECASE)
	d=re.search('USE `my_forum`;',line,re.IGNORECASE)
	e=re.search('USE `my_hds`;',line,re.IGNORECASE)
	f=re.search('USE `my_mall`;',line,re.IGNORECASE)
	g=re.search('USE `my_news`;',line,re.IGNORECASE)
	if a or b or c or d or e or f or g:
		f1.write(line)
	if line not in lines:
		f1.writelines(line)
		lines.add(line)
f3.close()
f3=open(readdir,'r')
d={}
for line2 in f3:
    d[line2] = d.get(line2,0) + 1 
for k, v in d.items():
    if v == 2: 
        f2.writelines(k)
f1.close()
f2.close()
f3.close()

此脚本还有其他版本：
Python之文本去重（最终版）：https://blog.youkuaiyun.com/weixin_42840933/article/details/86700429
Python之文本去重（进阶版）：https://blog.youkuaiyun.com/weixin_42840933/article/details/86605707