44、利用机器学习进行恶意网页链接检测的基数相关过采样方法

利用机器学习进行恶意网页链接检测的基数相关过采样方法

1. 引言

恶意网站问题日益严重，会导致网站被列入黑名单，未经授权的网站会收集用户的数据库信息和资产，部分URL被用作发布无关网页内容的主机页面，这往往意味着网络攻击。由于缺乏恶意和良性网站的网络特征，检测恶意网站仍然是一项具有挑战性的任务。机器学习技术在检测恶意网页方面表现出色，尤其是处理大规模数据库时，能动态保障系统不受恶意网页影响。可以利用相关技术开发反钓鱼URL软件，提醒用户潜在的安全问题。

2. 文献综述

• 评估多种监督批量学习分类器，通过实验比较各类分类器，确定在识别网络钓鱼问题中表现最佳的分类器。
• 基于特征向量进行多层身份验证，运用文本检测、视觉相似度检测和特征检测等方法来检测钓鱼网站。
• 对不同恶意网页检测技术进行调查，为提高检测准确性，需要对大型数据集进行训练。
• 提出一种分类方法，不仅关注URL的语法性质，还考虑其同义词含义。使用卷积神经网络（CNN）结合特定特征集构建分类模型，取得了较好的效果。
• 基于提出的URL行为和属性，提出一种恶意URL检测方法。
• 提出检测和应对人为概念漂移的范式，通过数据收集、特征提取以及梯度提升和神经网络算法的应用，实现了较高的准确性。
• 提出保护用户免受恶意内容侵害的方法，包括数据预处理、词嵌入向量、特定领域工程特征、重采样技术和分类器的应用。
• 利用特征检查实现恶意URL的智能检测，使用数据集训练XGBoost分类器，检测准确率达99%。
• 提出一种分析URL的框架，采用流模型训练