22、Splunk 高级部署指南

Splunk 高级部署指南

1. 日志处理基础问题

在使用 Splunk 处理日志时，有两个基础问题需要注意：
- 文件修改时间依赖 ：Splunk 通过文件的修改时间来判断是否有新事件写入文件。但在共享存储上，文件元数据的更新可能不够及时。
- 大目录结构的影响 ：大型目录结构会使 Splunk 读取日志的进程消耗大量的 RAM 和 CPU 资源。建议将旧日志移走，以减少 Splunk 需要跟踪的文件数量。

2. 批量消费日志

批量消费日志是一种不太常见的方法，即在日志滚动后定期从服务器收集日志。这种方法与监控共享驱动器上的日志类似，但扩展性问题可能更严重。
- 优点 ：无需在每个向共享存储写入日志的服务器上安装转发器。
- 缺点 ：
- 新日志文件较大时，Splunk 进程一次只能从一个文件中读取事件。当目录位于索引器上时还好，但当转发器尝试将事件分发到多个索引器时，一次只有一个索引器能接收事件。
- 滚动日志中的最旧事件要等到日志滚动并复制后才会被加载。
- 活动日志不能复制，因为复制过程中事件可能被截断，或者 Splunk 可能会将更新文件误认为是新日志，从而再次对整个文件进行索引。

如果只能采用这种方法，需要遵循以下规则：
- 只将完整的日志复制到监控目录。
- 尽可能在 inputs.conf 中使用批量配置节，而不是监控配置节，以便 Splunk 在索引文件后可以删除它们。