excel文件去重

#导入pandas
import pandas as pd
#1.读取excel中的数据；
frame = pd.DataFrame(pd.read_excel('C:/Users/EFY/Desktop/11/数据.xls', 'Sheet1'))
#2.去除重复行后的数据;
data = frame.drop_duplicates(subset='sn', keep='first', inplace=False)
#drop_duplicates用法：
#subset=‘需要去重复的列名’, keep=‘遇到重复的时保留第一个还是保留最后一个’, inplace=‘去除重复项，还是保留重复项的副本’
#3.保存去重后的数据到excel;
data.to_excel('C:/Users/EFY/Desktop/11/处理后的数据.xls', encoding='gbk')
#或者
#data.to_csv('C:/Users/EFY/Desktop/11/处理后的数据.csv', encoding='utf8')

----------------------------------

# 二、将testdata.txt文件提取至csv文件
# 1、要求：①表格第一列：文件中IP，②表格第二列：文件中Serial Number；③表格第三列：文件中mobile

#打开testdata
r = open('testdata.txt',mode='r')
#打开需要写入的csv
f = open('testdata.csv',mode='a+')
# 逐行读取testdata
line = r.readline()
# 判断当前是否是可以处理的行
    # 是
    # 当前这行内容用‘，’分隔开将 三列信息写进去
     # 然后读取下一行
    # 否,不执行写入
while (line):
    if 'out' in line:
        f.write(line.replace('[','').replace('] out:     Serial Number: ', ',').replace('  mobile: ',','))
    line = r.readline()