深入解析osquery的发布-订阅事件框架

马品向

于 2025-06-01 09:13:49 发布

阅读量545

点赞数 21

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00179/article/details/148362247

深入解析osquery的发布-订阅事件框架

osquery 项目地址: https://gitcode.com/gh_mirrors/osq/osquery

概述

osquery作为一款强大的系统监控工具，其核心功能之一是通过SQL查询获取系统信息。然而，传统的查询方式存在数据丢失的问题，特别是在监控短暂存在的进程或快速变化的系统状态时。为了解决这个问题，osquery引入了发布-订阅（pub-sub）事件框架，实现了异步事件收集和存储机制。

传统查询方式的局限性

在osquery中，大多数虚拟表是在SQL查询请求时同步生成的。例如，查询SELECT * FROM time;会返回查询执行时的当前时间。这种同步数据获取方式存在明显缺陷：

无法捕获瞬时事件（如短暂运行的进程）
只能反映查询时刻的系统状态
无法追踪系统状态的历史变化

发布-订阅框架的优势

osquery的发布-订阅框架通过以下方式解决了上述问题：

异步事件收集：在事件发生时立即捕获并存储
历史数据保留：将事件详情存储在RocksDB中
灵活查询：支持按时间范围查询历史事件

框架架构解析

核心组件

事件发布者（Publisher）
- 运行独立线程循环或注册系统回调
- 监控特定系统资源或事件
- 将事件分发给所有相关订阅者
事件订阅者（Subscriber）
- 向发布者注册订阅
- 存储发布的事件数据
- 响应查询请求返回相应数据

运行流程

发布者初始化（setUp()）
订阅者添加订阅（addSubscription）
发布者配置（configure()）
启动发布者线程（run()）

事件表使用指南

命名规范

所有基于发布-订阅的表都以_events结尾，例如：

process_events（进程事件）
file_events（文件事件）

时间范围查询

强烈建议在查询事件表时指定时间范围：

SELECT * FROM process_events WHERE time > NOW() - 300;

若不指定时间范围，默认会扫描从时间起点到现在的所有事件。

数据生命周期

事件数据不会永久保存，默认保留时间为1天（可通过--events_expiry标志调整）。当查询事件表时，系统会：

返回符合条件的事件
自动删除过期事件（早于当前时间减去保留周期）

实际应用示例：inotify文件监控

实现原理

Linux的inotify机制可以监控文件系统变化。osquery通过以下组件实现文件监控：

发布者：INotifyEventPublisher
- 基于Linux inotify API
- 监控指定路径的文件变化
订阅者：自定义事件处理器
- 订阅特定文件/目录的变更
- 存储相关事件信息

实现步骤

定义表结构：

table_name("new_etc_files")
schema([
    Column("path", TEXT),
    Column("time", TEXT),
])

创建订阅者类：

class NewETCFilesEventSubscriber : public EventSubscriber<INotifyEventPublisher> {
 public:
  Status init() override;
  Status Callback(const ECRef& ec, const SCRef& sc);
};

初始化订阅：

Status NewETCFilesEventSubscriber::init() {
  auto sc = createSubscriptionContext();
  sc->path = "/etc";
  sc->recursive = true;
  sc->mask = IN_CREATE;
  subscribe(&NewETCFilesEventSubscriber::Callback, sc);
}

实现回调函数：

Status NewETCFilesEventSubscriber::Callback(const ECRef& ec, const SCRef& sc) {
  Row r;
  r["path"] = ec->path;
  r["time"] = ec->time_string;
  add(r, ec->time);
  return Status(0, "OK");
}