weixin_45662626的博客

阿里云安全恶意程序检测

阿里云安全恶意程序检测

本题目提供的数据来自经过沙箱程序模拟运行后的API指令序列，全为Windows二进制可执行程序，经过脱敏处理:样本数据均来自互联网，其中恶意文件的类型有感染型病毒、木马程序、挖矿程序、DDoS 木马、勒索病毒等，数据总计6亿条。

当多个线程访问某个类时，不管运行时环境采用何种调度方式或者这些线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。

本赛题要求提交的结果是预测15 天内用券的概率，这是一个连续值，但是因为用券只有用与不用两种情况，而且评测指标是典型的二分类评测指标AUC,所以这是一个二分类问题。

LightGBM分类模型和前面介绍过的LightGBM回归模型相似，它可以支持高效率的并行训练，具有更快的训练速度、更低的内存消耗、更好的准确率、分布式支持、可以快速。

本赛题要求预测新用户在6个月内再次从同一店铺购买商品的概率，是一个连续值，不过因为购买商品只有购买和不购买两种结果，而且评测指标是典型的二分类评测指标AUC,所以这是一个二分类问题。

可以通过合成特征、对特征做简单变换、用决策树创造新特征、特征组合等方法对特征进行优化。

特征工程就是从原始数据提取特征的过程。这些特征可以很好地描述数据。特征工程的处理流程为首先去掉无用特征，去除冗余的特征，如共线特征，并利用存在的特征、转换特征、内容中的特征以及其他数据源生成新特征，然后对特征进行转换(数值化、类别转换、归一化等)，最后对特征进行处理(异常值、最大值、最小值，缺失值等)，以符合模型的使用。简单来说，特征工程的处理一般包括数据预处理、特征处理、特征选择等工作，而特征选择视情况而定，如果特征数量较多，则可以进行特征选择等操作。

赛题描述：经脱敏后的锅炉传感器采集的数据（采集频率是分钟级别），根据锅炉的工况，预测产生的蒸汽量。数据说明:数据分成训练数据（train.txt）和测试数据（test.txt），其中字段 V0-V37，这38个字段是作为特征变量，target作为目标变量。 选手利用训练数据训练出模型，预测测试数据的目标变量，排名结果依据预测结果的 MSE（mean square error）。结果提交：选手需要提交测试数据的预测结果（txt格式，只有1列预测结果）。结果评估：预测结果以mean squ