深入解析osquery的发布-订阅事件框架-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00857/article/details/148362256

深入解析osquery的发布-订阅事件框架

osquery osquery/osquery: Osquery 是由Facebook开发的一个跨平台的SQL查询引擎，用于操作系统数据的查询和分析。它将操作系统视为一个数据库，使得安全审计、系统监控以及故障排查等工作可以通过标准SQL查询来进行。项目地址: https://gitcode.com/gh_mirrors/os/osquery

概述

osquery作为一款强大的系统监控工具，其核心功能之一是通过SQL查询获取系统信息。然而，传统的查询方式存在局限性，特别是对于瞬态事件的捕获。本文将深入探讨osquery的发布-订阅(pubsub)事件框架，这是解决瞬态事件监控问题的关键技术。

传统查询方式的局限性

在osquery中，大多数虚拟表是在SQL查询请求数据时生成的。例如，查询SELECT * FROM time;会返回查询执行时的当前时间。这种方式对于静态数据有效，但对于操作系统中的瞬态事件（如进程创建、文件修改等）则显得力不从心。

以进程表为例，如果一个进程如ps仅运行了极短时间，传统的SELECT * FROM processes;查询几乎不可能捕获到该进程的信息。

发布-订阅框架的解决方案

osquery的发布-订阅框架通过以下机制解决了这个问题：

异步事件收集：在事件发生时捕获系统信息
事件存储：将相关事件详情存储在osquery的后端存储中
查询时检索：在查询时从存储中检索并返回历史事件数据

这种机制比传统的查询时虚拟表生成复杂得多，需要考虑事件时间、存储历史以及最终的虚拟表数据表示。

事件表的使用特点

所有基于发布-订阅框架的表名都以_events结尾。这些表具有以下特点：

时间范围查询：强烈建议在查询中包含时间范围条件，如SELECT * FROM process_events WHERE time > NOW() - 300;
数据生命周期：缓冲的事件会过期，默认保留1天（可通过--events_expiry调整）
shell限制：在osqueryi交互式shell中，这些表通常为空，因为事件循环随进程启停

框架架构解析

osquery的事件框架由两个核心组件构成：

事件发布者(Publisher)

包含线程化的运行循环和事件存储抽象
循环监控特定资源或使用操作系统API注册回调
将事件发送给所有相关订阅者

事件订阅者(Subscriber)

向发布者发送订阅请求
保存发布的数据
响应查询并返回适当数据

运行流程包括：

发布者初始化(setUp())
订阅者添加订阅(addSubscription)
发布者配置(configure())
启动新线程运行发布者的run()方法

实战示例：inotify文件监控

以Linux的inotify文件系统监控为例，展示如何实现一个完整的事件订阅：

定义表结构：

table_name("new_etc_files")
schema([
    Column("path", TEXT),
    Column("time", TEXT),
])
implementation("new_etc_files@NewETCFilesEventSubscriber::genTable")

创建订阅者类：

class NewETCFilesEventSubscriber : public EventSubscriber<INotifyEventPublisher> {
 public:
  Status init() override;
  Status Callback(const ECRef& ec, const SCRef& sc);
};

初始化订阅：

Status NewETCFilesEventSubscriber::init() {
  auto sc = createSubscriptionContext();
  sc->path = "/etc";
  sc->recursive = true;
  sc->mask = IN_CREATE;
  subscribe(&NewETCFilesEventSubscriber::Callback, sc);
}

实现回调函数：

Status NewETCFilesEventSubscriber::Callback(const ECRef& ec, const SCRef& sc) {
  Row r;
  r["path"] = ec->path;
  r["time"] = ec->time_string;
  add(r, ec->time);
  return Status(0, "OK");
}