异常点检测概述
这里常说的异常点,目前并没有具体的严格定义,大多数来讲,检测异常点都是按照数据分布与业务逻辑结合进行主观判断是否属于异常点。关注金科应用研院,回复“优快云”,领取风控资料合集。更多关于量化风险管理、贷前策略、贷中管理、额度授信、定价等信息,请关注金科应用研院。
举一个例子,例如我们无法直接区分出图1中的蓝点和红点,哪一个点是异常点。但把它们放在图2的数据环境里面后,只有一个点是红色,其余的点都是蓝色,那么根据数据分布的规则,就能判断出的红点是一个异常点。
所以,数据集汇总的异常数据通常被认为是异常点、离群点或孤立点,特点是这些数据的特征与大多数数据不一致,呈现出"异常"的特点,检测这些数据的方法称为异常检测。识别如信用卡欺诈,工业生产异常,网络流里的异常(网络侵入)等问题,针对的是少数的事件。
异常点检测的应用
异常值/离群值检测的应用比较广泛,例如:
-
欺诈检测,即检测信用卡或电话卡的欺诈性事件;
贷款申请处理,检测欺诈性申请或潜在问题客户;
入侵检测,检测计算机网络中未经授权的访问;
活动监视,通过监视电话活动或股票市场中的可疑交易来检测手机欺诈;
网络性能,监视计算机网络的性能,例如检测网络瓶颈;
故障诊断,检测例如航天飞机上的电动机、发电机、管道或太空仪器中的故障;
结构缺陷检测,检测生产线中的缺陷瑕疵;
卫星图像分析,识别新颖特征或分类错误的特征;
检测图像中的新颖性,用于机器人整形或监视系统;
运动分割,检测独立于背景移动的图像特征;
时间序列监视,监视安全关键应用,例如钻孔或高速铣削;
医疗状况监控,例如心率监控器;
药物研究,确定新的分子结构;
检测文本中的新