11、数字证据保存的高级技术：区块链与机器学习的力量

数字证据保存的高级技术：区块链与机器学习的力量

1. 引言

随着科技和人类社会的发展，服务器收到的请求日益增多，日志数据的生成量也达到了前所未有的程度。与此同时，网络攻击愈发频繁，日志分析和异常检测的重要性日益凸显。在安全方面，日志记录至关重要，开发者需警惕用户向日志中注入恶意内容的日志注入攻击。安全日志记录和监控的失败风险极高，甚至被列入了开放 Web 应用安全项目（OWASP）2022 年十大风险。

通常，定期检查和分析日志的组织能更敏锐地发现错误。借助先进的日志分析工具，组织还能识别问题，大幅减少解决问题的时间和成本。日志也有助于安全工程师回顾错误发生前的事件，便于后续进行故障排除和修复。

对于像 Meta 和谷歌这样的大公司，数据量极为庞大，仅靠人工处理远远不够。机器学习的出现实现了自动异常检测，减少了对人工的依赖。然而，目前缺乏最新的、标注准确的实际日志数据集作为参考，且日志消息格式每隔几年就会发生变化，这给相关工作带来了挑战。

据安全分析师预测，到 2023 年底，全球每七秒就会发生一次网络安全攻击。本文旨在开发一种解决方案，既能主动预防又能被动应对组织中出现的网络安全风险和问题。该方案聚焦于处理组织系统中产生的最微小却至关重要的数据——日志。此前已有众多项目和研究致力于不同类型日志的异常检测，并且为生成随机日志文件构建了各种测试平台，这是网络领域的一项重大进展。从聚类到神经网络，各种机器学习模型都在现有数据集上进行了测试和比较，但大多数标准数据集已过时，数据集的真实性也存在问题。

本文提出使用区块链进行日志存储，并结合最真实测试平台的数据集和合适的异常检测算法。同时，提出一种模型，利用多种机器学习方法（如 KNN 和隔离森林）