2、智能日志数据分析与异常检测

智能日志数据分析与异常检测

1. 行业趋势与挑战

1.1 行业趋势

大规模日志数据摄取

如今，大量的操作数据被用于检测攻击和安全问题的痕迹，涵盖网络流量、网络数据包捕获、主机审计跟踪、内存模式以及事件/日志数据等。日志数据作为许多系统的共性元素，若能以合理的详细程度收集，可成为捕捉主机上发生事件的有效手段。随着加密、隧道和虚拟化技术的日益普及，对端点的密切监控变得至关重要。几乎每个设备、组件和软件都能生成日志数据，这为深入了解系统内部运行模式和揭示系统行为偏差提供了途径，使日志数据成为独立于具体产品、操作系统和实现技术来发现入侵痕迹的灵活且通用的方法。

有效生成可操作的网络威胁情报

网络威胁情报（CTI）有助于防御者调整其检测能力。CTI 可在不同抽象级别进行建模，从简单的入侵指标（IoC）到复杂的战术和技术。然而，生成 CTI 是一项复杂且耗时的任务，需要从实际攻击中提取数据、进行审查、建模为特征并验证其广泛适用性。智能日志数据分析有潜力通过从日志数据的可观察信息中快速有效地推断恶意行为来简化这一过程。自动从日志数据中提取异常行为模式的复杂指标并与他人共享，可能会显著提高整个社区的安全性。

1.2 未来挑战

移动基线

每个异常检测系统都依赖于合适的基线，即对要保护系统的（最好是静态的）视图，这是确定合法事件和行为以及评估当前状态偏差程度的“地面真相”。确定偏差程度是一项复杂的工作，不仅取决于发现的异常类型，还取决于观察到的数据和所选分析特征。如果基线不是固定的，而是需要考虑周期性（如周末、轮班等导致的系统和用户行为周期性变化）或长期趋势，情况会变得更加复杂。