日本中书省安全log分析

主要流程:

  1. EDA数据分析
  2. 数据清洗
  3. 特征工程
  4. 构建模型pipeline
  5. 训练模型
  6. 部署

EDA数据分析:看数据内的缺失状况,分割表(连续值和离散值)根据一些主要的col做一些scatter。大致确定一下特征内的关系,以及特征的重要度分析

数据清洗:

按row:关键特征None值多整条删除

按col:None值多删除,None值少补值(众数,平均数等,接近数)

特征工程:

将部分离散列合并,对离散值onehot编码,ip按照网段分开

构建模型pipeline:

拆分大文件,按比例分配测试集和训练集

 

补充内容:特征重要度分析,大文件的pipeline构建,基础的机器学习算法

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值