日志聚类算法 Drain 的实践与改良

在现实场景中，业务程序输出的日志往往规模庞大并且类型纷繁复杂。我们在查询和查看这些日志时，平铺的日志列表会让我们目不暇接，难以快速聚焦找到重要的日志条目。

在观测云中，我们在日志页面提供了聚类分析功能，可以快速聚合相似的日志文本，帮助你全览不同类型的日志。这个功能背后就由基于 Drain 的改良算法驱动。

快速理解 Drain 算法

根据 logparser 项目提供的 Benchmark 数据和论文原文可知，Drain 在一众日志聚类算法中准确度和性能都几乎是最好的，所以我们选择基于 Drain 算法来实现产品功能。

在这里我们尝试根据 Drain 论文来总结和梳理一下算法的主要逻辑：