20、日志收集、处理与存储全解析

日志收集、处理与存储全解析

1. 消息代理实现日志事件流式传输

在日志收集过程中，需要收集的日志信息量巨大，众多的日志来源很容易让成熟的日志基础设施不堪重负，而一个会丢弃消息的日志管道显然不是我们想要的。为了解决这个问题，我们可以使用消息代理来处理大量的日志信息，避免单个组件过载。

消息代理是一种接收发布者消息并将其路由到消费者的应用程序，它就像一个带有智能逻辑的管道，能决定哪个消费者可以获得特定消息的副本。

日志管道的第二层专注于在收集层和分析层之间流式传输日志事件，其结构如下：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(系统):::process --> B(消息代理):::process
    C(应用程序):::process --> B
    D(网络流量):::process --> B
    E(第三方):::process --> B
    B --> F(分析层):::process
    B --> G(原始存储):::process
    B --> H(监控):::process
    B --> I(异常与欺诈检测):::process

在收集层，系统、应用程序和各种基础设施组件将日志消息转发到少数已知的消息代理，收集层只需知道将日志发送到哪里。而在消息代理的另一端，分析层由多个程序组成，这些程序读取日志事件并执行相应任务。如果没有消息代理，收集层需要知