notepad++去除重复行 python去除重复数据

1. notepad++ 去除重复行

1. 编辑->行操作
2. 升序排列文本行
3. 第一种（从重复行中保留一行）：删除重复行
   第二种（删除重复行，包含本身）：1. 替换；2. 查找目标：^(.*\r?\n)\1+；替换为: 空，不填写内容

2. pandas 删除csv中重复行

1) 代码

import pandas as pd

# 读取CSV文件
df = pd.read_csv('your_file.csv')

# 删除重复行
df = df.drop_duplicates()

# 将处理后的数据保存回CSV文件
df