colorknight的专栏

本文回顾了网络安全行业中日志采集与处理技术的发展历程，从早期基于Lex&Yacc的解析技术，到借鉴Arcsight的脚本语言解决方案，再到大数据时代采用LogStash等开源工具。作者介绍了自主研发的Botu脚本语言，这是一款专注于数据解析与封装的DSL工具，具备接近通用编程语言的语法结构、动态执行优化能力和高效的数据封装特性。Botu已开源并提供10种常见安全设备的日志解析模板，旨在提升AI时代网络安全研究的效率。相比主流工具，Botu在解析性能和易用性上有显著优势，特别适合需要处理大量日志的安全

最近蒙朋友关照，一起合作了一个日志审计的项目，让我有机会重新思考与审视日志解析相关的技术问题，重新系统的梳理了下近二十年从业中经历中积累的经验与教训。日志解析在日志审计中是否重要？这是一个很见仁见智的问题。主要取决于日志审计希望达到的效果。如果日志审计的主要目标在日志留存和检索溯源上。那么日志解析没有那么高的重要性。但如果希望能够对日志进行更深入的分析与统计，那么日志解析就变的必不可少。众所周知，不同应用产生的日志，其书写格式、表述习惯存在很大差异。另外，日志通常是非结构化或半结构化描述的，也不利..