CompHub 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…)比赛。本账号会推送最新的比赛消息,欢迎关注!
👉🏻 CompHub主页[1] 或 点击文末阅读原文
以下内容摘录自比赛主页
Part1赛题介绍
1题目
AMWD 2022:阿里云安全WEBSHELL文本检测[2]
2标签
二分类、文本检测、F score**)**
3主办方
阿里云安全云安全中心、阿里云安全、阿里云安全ASRC
4背景
恶意程序/恶意代码攻防是云安全-主机安全领域中的一个关键领域,也是安全行业多年一直在攻关与竞争的必争之地。利用恶意程序/恶意代码,攻击者在Web服务器上执行系统命令、窃取数据、植入病毒、勒索核心数据、SEO挂马等恶意操作,危害极大。
近几年随着攻防对抗不断升级,防御的挑战越来越大,在对抗的过程中,逐步发展出了静态检测引擎+AI检测引擎+动态沙箱执行检测引擎等多种综合手段,有效地提高了攻击者绕过的门槛和成本,缓解了恶意程序/恶意代码攻击问题。
Part2时间安排
-
报名启动:10.10 10:00
-
初赛开始:10.25 10:00
-
初赛结束(报名截止):11.25 10:00
-
实名认证截止:11.28 10:00
-
代码与技术报告提交:11.30 10:00 - 12.9 18:00
-
线上答辩:十二月中旬(后续通知)
-
颁奖:十二月下旬(后续通知)
Part3奖励机制
名次 | 奖金 |
---|---|
冠军 | 30000 |
亚军 | 20000 |
季军 | 15000 |
第四名 | 6000 |
第五名 | 5000 |
第六名 | 4000 |
♣ Pioneering Award:通过比赛或workshop发表高水平学术论文(CCF-A 并且在论文中“acknowledge”写上该比赛),奖励前两篇论文,每篇10000元。
♣ 荣誉证书:Top20的队伍和奇思妙想奖的队伍,都将获得阿里巴巴颁发的荣誉证书。
♣ 阳光普照奖:进入决赛的队伍,每人均可获得阿里巴巴定制礼品一份。
Part4赛题描述
本题目提供的数据来自webshell文件经过沙箱程序静态模拟运行后的AST抽象语法树指令序列,包含PHP和JSP两种语言。
本题目提供的样本数据均来自于互联网公开样本,选手将构建二分类模型用以识别Webshell文件。
Part5数据描述
训练数据(公开给参赛选手)
训练数据集(train.csv, train.zip)包含2万多个样本,其中php和jsp的比例约为9:1,字段描述如下:
注:train.zip 中的文件名对应 train.csv 中的 file_id,包含json格式的AST日志。
测试数据(用于后台模型测评,不公开)
非公开样本集,共27万多个。格式除了没有label字段,其他数据规格与训练数据一致。
Part6评测标准
-
阶段一:线上比赛部分,根据选手模型的预测结果进行自动化评分,占总得分的80%权重
-
阶段二:线上赛通过代码审核的前10名进入线上答辩环节,答辩内容为赛题方案PPT陈述,由主办方和评委进行提问,最后给出主观评分,占总得分20%权重。
-
最终得分由阶段一和阶段二分数加总得出,共设TOP6名队伍进行颁奖
线上赛部分
选手的结果文件包含两个字段:file_id(bigint)和预测结果prediction(类型为string,black/white),选手需将列名按如下顺序写入提交结果文件的第一行,作为表头:file_id,prediction。
1.label=black为正例,并计算 F_beta 分值作为最终评分,精度保留小数点后5位。
2.分数计算公式如下:线上赛部分,满分为1分。
线上答辩部分
主观评分维度如下:
-
模型性能开销
-
方案创意
-
方案先进性
-
方案可落地性
线上答辩部分,满分为1分。
线上赛和线上答辩分数结构说明
本次比赛,更加注重模型和方案本身的实际落地效果,因此线上赛的得分占比权重更高,下面举一个例子说明,以便选手更好安排自己的时间分配。
-
A选手初赛第一名(得到满分1分),答辩第六名(假设是0.5分),按照比例最终是0.8+0.1=0.9
-
B选手初赛第二名(假设是0.8分),答辩第一名(得到满分1分),按照比例最终是0.64+0.2=0.82
-
C选手初赛第三名(假设是0.6分),答辩第二名(假设是0.9分),按照比例最终是0.48+0.18=0.66
最终排名为:A选手 > B选手 > C选手
选手要尽量在线上赛部分和其他选手拉高差距,同时如果在线上赛部分选手之间差距不大,则需要在线上答辩部分拉开差距。
参考资料
[1]
CompHub主页: https://comphub.notion.site/CompHub-c353e310c8f84846ace87a13221637e8
[2]
AMWD 2022:阿里云安全WEBSHELL文本检测: https://tianchi.aliyun.com/competition/entrance/532035/introduction?spm=5176.12281957.0.0.493e2448WmVIFQ