贪心科技机器学习训练营（三）

最新推荐文章于 2022-06-15 18:52:34 发布

小刘要努力。

最新推荐文章于 2022-06-15 18:52:34 发布

阅读量1.9k

点赞数 1

CC 4.0 BY-SA版权

liurunsen

本文链接：https://blog.youkuaiyun.com/weixin_44510615/article/details/95640265

博客源自贪心学院，围绕KNN回归作业中的二手车估计案例展开，重点介绍了数据预处理步骤，包括将文本数据进行one - hot编码，把文本转换为数字，以及数据标准化等操作，还提及使用get_dummies进行one - hot编码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先把来源写上

来源：贪心学院，https://www.zhihu.com/people/tan-xin-xue-yuan/activities

knn回归作业

二手车估计案例

import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

#读取数据
df = pd.read_csv('data.csv')
df  # data frame

在这里插入图片描述

数据预处理

Color 是文本，onehot
文本转数字
标准化

onehot编码用get_dummies

在这里插入图片描述

#清洗数据
# 把颜色独热编码
df_colors = df['Color'].str.get_dummies().add_prefix('Color: ')
# 把类型独热编码
df_type = df['Type'].apply(str).str.get_dummies().add_prefix('Type: ')
# 添加独热编码数据列
df = pd.concat([df, df_colors, df_type], axis=1)
# 去除独热编码对应的原始列
df = df.drop(['Brand', 'Type', 'Color'], axis=1)

df

在这里插入图片描述

# 数据转换
matrix = df.corr()
f, ax = plt.subplots(figsize=(8, 6))
sns.heatmap(matrix, square=True)
plt.title('Car Price Variables')

在这里插入图片描述

sns.pairplot(df[['Construction Year', 'Days Until MOT', 'Odometer', 'Ask Price']], size=3)
plt.show()

在这里插入图片描述
numpy.ravelj就是reshape(-1, order=order)

在这里插入图片描述

from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split
from sklearn import preprocessing  # 预处理
from sklearn.preprocessing import StandardScaler  # 标准化
import numpy as np

X = df[['Construction Year', 'Days Until MOT', 'Odometer']]
y = df['Ask Price'].values.reshape(-1, 1) # Series 转 ndarray
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=41)

X_normalizer = StandardScaler() # N(0,1)
# 先用x_train   fit
X_train = X_normalizer.fit_transform(X_train)
X_test = X_normalizer.transform(X_test)

y_normalizer = StandardScaler()
y_train = y_normalizer.fit_transform(y_train)
y_test = y_normalizer.transform(y_test)

knn = KNeighborsRegressor(n_neighbors=2)
# knn.fit(X_train, y_train.ravel())
knn.fit(X_train, y_train)


#Now we can predict prices:
y_pred = knn.predict(X_test)
y_pred_inv = y_normalizer.inverse_transform(y_pred)
y_test_inv = y_normalizer.inverse_transform(y_test)

# Build a plot
plt.scatter(y_pred_inv, y_test_inv)
plt.xlabel('Prediction')
plt.ylabel('Real value')

# Now add the perfect prediction line
diagonal = np.linspace(500, 1500, 100)
plt.plot(diagonal, diagonal, '-r')
plt.xlabel('Predicted ask price')
plt.ylabel('Ask price')
plt.show()

print(y_pred_inv)

在这里插入图片描述