[数据挖掘]利用Titanic学习特征工程

最新推荐文章于 2023-12-15 21:36:26 发布

原创

最新推荐文章于 2023-12-15 21:36:26 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘

本文通过Titanic数据集展示数据挖掘过程，包括单变量分析、二元变量分析、缺失值处理、异常值检测及特征创建。发现年龄、性别、船票等级与幸存率密切相关，女性和高等级船票乘客幸存率更高。处理缺失值时，根据属性重要性和缺失比例选择合适策略。异常值检测有助于提高模型准确性，特征创建如提取称号信息可增强模型表现。

概述

　　本文将以Titanic的数据集作为例子，学习如何进行数据清洗，从原始数据中挖掘出对目标有利的特征以便构建出优秀的模型。数据集来源于kaggle中的题目：预测Titanic乘客的存亡情况。

数据探索有7个步骤，分别是：
1.确定变量
2.单变量分析
3.二元变量分析
4.缺失值分析
5.异常值分析
6.特征转换
7.特征创建
其中4-7视模型效果而言需要反复进行多次。

数据集

　　首先，我们来简单看一下原始数据：

>test<-read.csv("test.csv")
>train<-read.csv("train.csv")
>str(train)

'data.frame':   891 obs. of  12 variables:
 $ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...
 $ Survived   : int  0 1 1 1 0 0 0 0 1 1 ...
 $ Pclass     : int  3 1 3 1 3 3 1 3 3 2 ...
 $ Name       : Factor w/ 891 levels "Abbing, Mr. Anthony",..: 109 191 358 277 16 559 520 629