数据预处理

最新推荐文章于 2025-05-01 17:35:42 发布

li123chen

最新推荐文章于 2025-05-01 17:35:42 发布

阅读量219

点赞数

文章标签： kaggle python 数据预处理

本文链接：https://blog.youkuaiyun.com/li123chen/article/details/88688825

版权

本文探讨了数据预处理的重要性，包括缺失值处理和特征工程，涵盖了特征提取与选择。接着，介绍了如何建立模型并进行评估，最后讲解了在kaggle平台上的提交流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据处理的方法

缺失值的处理方法

# 数值型数据(平均值）
df[' ']=df[' '].fillna(de[''].mean())
# 类别型变量（缺失值较少，用众数填补）
full_df[' '].mode()
full_df[' ']=full_df[' '].fillna('S')
# 字符型变量（缺失值较多，'Unknown'填补）
full_df['  ']=full_df['  '].fillna('U'）

特征工程——特征提取

# 首字母具有规律，可以作为特征提取
full_df['Cabin']=full_df['Cabin'].map(lambda a:a[0])
# 将字符数据转换为数值类型的虚拟变量
cabin_df=pd.DataFrame() # 新建数据特征框，来存储特征变量
cabin_df=pd.get_dummies(full_df['Cabin'],prefix='Cabin')
# 将虚拟变量与原始变量融合
full_df=pd.concat([full_df,cabin_df],axis=1)
# 删除原有变量
full_df.drop('Cabin',axis=1,inplace=True)

特征工程——选择特征

# 求出相关系数
r_df=full_df.corr()
r_df
# 根据和标签的相关系数大小进行排序，进而选择特征
r_df['Survived'].sort_values(ascending=True)
full_x=pd.concat([title_df,pclass_df,family_df,full_df['Fare'],cabin_df,full_df['Sex']],axis=1)

建立模型

# 导入数据拆分包
from sklearn.model_selection import train_test_split
# 将数据拆分
train_x,test_x,train_y,test_y=train_test_split(source_x,source_y,train_size=.8,test_size=.2)
# 导入模型
from sklearn.linear_model import LogisticRegression
# 建立模型
model=LogisticRegression()
# 训练模型
model.fit(train_x,train_y)

评估模型

# 评估模型在测试集上的准确率
model.score(test_x,test_y)
# 模型在预测集上的准确率
pred_x=full_x.loc[source_row:,:]
pred_y=model.predict(pred_x)
pred_y[0:5]

kaggle 提交处理

passenger_id=full_df.loc[source_row:,'PassengerId']
pred_y=pred_y.astype(int)
gred_df=pd.DataFrame({'PassenterId':passenger_id,
                    'Survived':pred_y})
gred_df.to_csv('Titanic.csv',index=False)