Sequin：实时捕获Postgres变更数据的利器

Sequin：实时捕获Postgres变更数据的利器

sequin Postgres change data capture to streams and queues like Kafka, SQS, HTTP endpoints, and more 项目地址: https://gitcode.com/gh_mirrors/se/sequin

项目介绍

Sequin 是一个专为Postgres设计的数据变更捕获（CDC）工具。它能轻松地将Postgres的行和变更实时传输到流媒体平台和队列（例如Kafka和SQS）。用户可以填充现有数据行，并实时传输新的变更。

Sequin 支持原生下沉（HTTP GET和webhooks），因此用户可以在无需其他基础设施的情况下快速上手。数据变更捕获使得应用和服务能够跟踪并响应数据库表中发生的行级别变更。利用Sequin进行CDC，用户可以：

1. 将数据从一个现有的表复制到其他应用、数据库、缓存、物化视图或前端客户端。
2. 构建事件驱动的工作流程，例如在Postgres数据发生变化时触发副作用。

Sequin 是基于Postgres构建的，使用逻辑复制槽来检测变更，并使用内部表来存储下沉状态。

与另一个数据变更捕获工具Debezium不同，Sequin 不需要Kafka即可运行。Sequin 是一个独立的Docker容器，可以部署在Postgres数据库旁边，或者使用我们提供的托管服务。

Sequin 是开源的，遵循MIT许可。如果你正在使用这个项目并希望为其发展做出贡献，可以在Discord服务器告诉我们你的构建内容。

项目技术分析

Sequin 使用Postgres的逻辑复制功能来实现变更数据的捕获。用户指定要流的表、可选的过滤器和转换，然后将变更路由到下沉，例如Kafka、SQS、Redis或HTTP端点。

当设置下沉时，用户可以选择从源表向下沉填充数据。在设置完成后，Sequin 会实时将新的变更推送到下沉。如果推送过程中遇到任何问题，Sequin 会自动以指数退避的方式重试。

Sequin 还提供了一个Web控制台/UI用于配置，用户也可以使用YAML配置文件以代码的形式配置Sequin。

项目及技术应用场景

Sequin 适用于多种变更数据捕获的场景，例如：

• 在Postgres中数据变化时触发工作流程：在特定行插入、更新或删除时执行自定义业务逻辑。
• 将事件提供给下游服务：将数据库表的变更作为事件流提供给其他服务消费。
• 当行变化时通知下游服务：通知依赖服务关于数据变化，以保持系统同步。
• 审计日志：为合规性或功能开发跟踪和记录对数据的所有更改。
• 将一个表从一个数据库同步到另一个数据库：实时保持不同数据库实例中的表同步。
• 在数据库中物化另一个表：基于源表的变化创建和维护派生表。
• 维护缓存：通过流数据库更改来更新缓存。
• 刷新搜索索引：通过从数据库流更新来保持搜索索引最新。

项目特点

• 捕获所有变更： Sequin 确保所有数据库的变更都能传送到下沉。
• 最快的CDC： Sequin 在变更数据捕获方面具有业界领先性能，能够维持每秒40k操作，平均延迟55ms。
• 基于SQL的路由： 使用SQL where条件过滤和路由消息到下沉。
• 数据回填： 将现有表中的数据回填到下沉。
• 兼容多种数据库版本： Sequin 与任何Postgres数据库版本14+兼容。
• 数据转换（即将推出）：通过编写Lua、JavaScript或Go函数来转换消息负载。

推荐理由

Sequin 以其出色的性能和简单的配置流程，在实时捕获Postgres变更数据方面显得格外突出。以下是一些推荐理由：

• 无需额外基础设施： Sequin 不需要像Kafka这样的额外基础设施即可运行，降低了项目搭建的复杂性。
• 实时性能： Sequin 的实时性能使得它能够在高负载下保持稳定的性能，这对于需要实时数据处理的应用场景至关重要。
• 灵活的配置选项： Sequin 允许用户通过SQL条件过滤数据，提供更高的灵活性。
• 易于维护： Sequin 的设计和架构使得系统易于维护，减少了长期维护的负担。

Sequin 是一个强大且灵活的工具，适用于各种规模和类型的应用，特别是那些需要实时数据处理和同步的场景。无论你是在构建一个复杂的事件驱动架构，还是简单的数据同步机制，Sequin 都能为你提供必要的工具和性能。如果你正在寻找一个Postgres的CDC解决方案，Sequin 绝对值得考虑。

sequin Postgres change data capture to streams and queues like Kafka, SQS, HTTP endpoints, and more 项目地址: https://gitcode.com/gh_mirrors/se/sequin