数据来源:https://www.kaggle.com/vijayuv/onlineretail
一个线上零售的交易数据
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import time
import itertools
d = pd.read_excel('C://Users//hp//Documents//我的数据//Online Retail.xlsx')
d.head()
# InvoiceNo:发票(订单)编号。 定类数据,为每个事务分配的6位整数。 如果此代码以字母'C'开头,则表示取消。
# StockCode:产品(项目)代码。 定类数据,为每个不同的产品分配的5位整数。
# Description:产品(项目)名称。定类数据。
# Quantity:每笔交易的每件产品(项目)的数量。 数字。
# InvoiceDate:Invoice日期和时间。 数字,生成每个事务的日期和时间。
# UnitPrice:单价。 数字,英镑单位产品价格。
# CustomerID:客户编号。 定类数据,为每个客户分配的5位整数。
# Country:国家名称。 定类数据,每个客户所在国家/地区的名称。
d.info()
# InvoiceNo StockCode InvoiceDate Country 无空值,CustomerID大量空值
d.describe()
# Quantity UnitPrice有负数
数据清洗
d['UnitPrice'].value_counts().sort_index().head()
# 负值的只有2个,直接删去
print((d['Quantity'] ==0).value_counts())
print((d['Quantity']<0).value_counts())
plt.scatter(range(len(d['Quantity'])),d['Quantity'])
# 没有等于0的,小于0的有一万多条,并且在大于0的部分也存在大额商品,因此可能是存入有误,可以将其变为正数,但下面的过程不需要此列,因此不做处理
# 单价和数量
d = d[d['UnitPrice'] > 0]
# d['Quantity'] = d['Quantity'].map(lambda x: -1*x if x<0 else x)
# CustomerID暂不处理
# 删去重复行
d.drop_duplicates(inplace=True)
# 删除取消的订单
d['InvoiceNo'] = d['InvoiceNo'].astype('str')
d = d[~d['InvoiceNo'].str.startswith('C')]
# 删除不需要的列
d.drop(columns=['Description', 'Quantity', 'UnitPrice'], inplace=True)
print('整理后的数据长度为:',