基于Doris的日志存储分析平台（同步Kafka日志数据）

原创

已于 2024-05-20 08:59:56 修改 · 2.4k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式 #big data

于 2024-05-13 18:45:23 首次发布

Kafka日志写入Doris

实现方式
- 采用 Routine Load 官方文档：Routine Load - Apache Doris
- 采用 SparkStreaming实时消费Kafka后写入Doris，在日志记录场景（只写不删，不覆盖，不聚合...），我们使们前者；
- Doris 可以通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据。在提交 Routine Load 作业后，Doris 会持续运行该导入作业，实时生成导入任务不断消费 Kakfa 集群中指定 Topic 中的消息。
我们的日志数据由log4net推入Kafka后是一串JSON格式，大致如下格式：

[
  {
      "partition": 0,
      "offset": 49,
      "msg": "{\"log_timestamp\":1715752796717,\"business\":\"example.business.project\",\"service\":\"example.service\",\"host_ip\":\"YFB-CTO\",\"level\":\"INFO\",\"logger_name\":\"Web.Controllers.RoleController\",\"message\":\"########### \\u8FD9\\u662F\\u624B\\u52A8\\u8F93\\u51FA\\u7684\\u4E2D\\u6587\\u65E5\\u5FD7\\u4FE1\\u606F ###########\",\"request_path\":null,\"request_