13、AECID:轻量级日志分析在线异常检测方法全解析

AECID:轻量级日志分析在线异常检测方法全解析

1. AECID可检测的异常类型

AECID作为一种有效的异常检测方法,能够以一定的置信度识别不同类型的异常。主要的异常类别如下:
- 异常单事件
- 离群值 :代表极少发生的事件,这些事件出现的频率极低,不属于正常系统行为模型的一部分。
- 参数违规 :违反允许的参数值或值组合,例如通过未知(未列入白名单)的用户代理访问服务器。在黑名单机制中,不允许的用户代理需要逐个添加到黑名单中,这存在很高的不完整性风险。
- 异常事件参数 :事件的某些参数,如IP地址、用户字符串等超出预期范围。例如,已知软件的未知版本、以前未观察到的系统/协议功能的使用,或者已知机器的配置偏离已知的良好基线等情况触发的事件。
- 异常单事件频率 :通常被认为正常的事件,但发生频率异常。例如,在数据盗窃的情况下,日志数据中会记录来自单个客户端的异常大量数据库访问,从而触发异常。
- 异常事件序列 :通过观察相关事件之间的依赖关系发现的异常。这种依赖关系可以通过定义关联规则来形式化。关联规则描述了一系列事件,这些事件必须在给定的时间窗口内按顺序发生,才能被视为正常。为了检测可能涉及网络中不同系统的更复杂异常过程,需要检查多个日志行。在观察到特定的日志行类型(记录条件事件)后,另一个特定的日志行(记录预期的隐含事件)必须在预定义的时间槽内发生,否则将发出警报。此外,关联规则应可定义为,在给定(条件)事件发生后,算法

先展示下效果 https://pan.quark.cn/s/a4b39357ea24 遗传算法 - 简书 遗传算法的理论是根据达尔文进化论而设计出来的算法: 人类是朝着好的方向(最优解)进化,进化过程中,会自动选择优良基因,淘汰劣等基因。 遗传算法(英语:genetic algorithm (GA) )是计算数学中用于解决最佳化的搜索算法,是进化算法的一种。 进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择、杂交等。 搜索算法的共同特征为: 首先组成一组候选解 依据某些适应性条件测算这些候选解的适应度 根据适应度保留某些候选解,放弃其他候选解 对保留的候选解进行某些操作,生成新的候选解 遗传算法流程 遗传算法的一般步骤 my_fitness函数 评估每条染色体所对应个体的适应度 升序排列适应度评估值,选出 前 parent_number 个 个体作为 待选 parent 种群(适应度函数的值越小越好) 从 待选 parent 种群 中随机选择 2 个个体作为父方和母方。 抽取父母双方的染色体,进行交叉,产生 2 个子代。 (交叉概率) 对子代(parent + 生成的 child)的染色体进行变异。 (变异概率) 重复3,4,5步骤,直到新种群(parentnumber + childnumber)的产生。 循环以上步骤直至找到满意的解。 名词解释 交叉概率:两个个体进行交配的概率。 例如,交配概率为0.8,则80%的“夫妻”会生育后代。 变异概率:所有的基因中发生变异的占总体的比例。 GA函数 适应度函数 适应度函数由解决的问题决定。 举一个平方和的例子。 简单的平方和问题 求函数的最小值,其中每个变量的取值区间都是 [-1, ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值