32、构建可用于生产环境的入侵检测系统

构建可用于生产环境的入侵检测系统

在构建可用于生产环境的入侵检测系统时，涉及多个关键步骤，包括模型的优化、评估以及部署等。下面将详细介绍这些步骤。

高级优化技术

更先进的技术会利用顺序、自适应搜索/优化算法，其中一次试验的结果会影响后续试验的选择，并且会联合优化超参数。目前也有研究尝试预先确定超参数的变量重要性。此外，对于自动化技术难以收敛的系统，领域知识和手动微调可能会有很大价值。

端到端评估

从业务角度来看，真正重要的是最终的端到端性能。利益相关者不会关心训练误差、参数调整和模型选择等，他们关注的是基于最终模型计算的关键绩效指标（KPIs）。评估可以看作是最终的裁决。

评估产品不能仅依赖单一指标，通常构建一个内部仪表盘是一个很好且有效的做法，它可以实时报告或测量产品的一系列性能指标，以汇总数字或易于解释的可视化图表的形式呈现。通过这个仪表盘，我们可以快速了解整体情况，并将其转化为业务价值。

评估阶段通常会采用与模型验证相同的方法。之前提到的一些针对有标签和无标签数据的验证技术可以作为起点。此外，还应包括一些特定的测试场景：
1. 已知与未知攻击检测性能 ：测量检测器对已知和未知攻击的性能。可以使用标签创建不同的训练集，有些训练集完全没有攻击，有些则包含少量攻击（因为训练集中过多的异常不符合异常的定义）。可以测量训练集中异常百分比函数下前N个元素的精度，这能让我们了解检测器对过去异常和潜在新异常的泛化能力。根据实际需求，我们可能更关注新异常或已知异常。
2. 相关性性能 ：仅仅达到阈值或进入优先级队列是不够的，排名也很重