python实现列表去重的方法

本文用到的数据,可以加QQ跟群主获取：
群名称：PYTHONERS-数据
群 号：663468799
学习python和数据分析推荐地方： www.lynda.com
获取lynda官网会员的方式：get_lynda.com()

---

方法1： 使用set函数

goods = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", "裤子", "高跟鞋", "袜子""雪纺衫", "裤子", "高跟鞋", "袜子"]
list(set(goods))

好处： 方法简单，实用，适合少量的列表去重
缺点：由于才有python内置的方法，在数据量超大的情况下，性能比较差

方法2： series.unique()方法

goods = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", "裤子", "高跟鞋", "袜子""雪纺衫", "裤子", "高跟鞋", "袜子"]
s = pd.Series(goods)
s.unique()

方法3: drop_duplicates()方法

goods = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", "裤子", "高跟鞋", "袜子","雪纺衫", "裤子", "高跟鞋", "袜子""雪纺衫", "裤子", "高跟鞋", "袜子"]
s = pd.Series(goods)
s.drop_duplicates()

贴一张截图：