如何保证 flink-connector-elasticsearch 的幂等性

最新推荐文章于 2024-08-07 09:37:33 发布

原创

最新推荐文章于 2024-08-07 09:37:33 发布 · 878 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #elasticsearch #jenkins

文章展示了如何使用ApacheFlink1.11.1版本结合Elasticsearch的upsert功能和脚本，确保在数据写入Elasticsearch时，即使数据写入顺序不确定，也能保证最新版本的数据被存储。通过设置scriptedUpsert和提供一个基于时间戳的Painless脚本，实现了在sink端的老数据更新新数据的幂等性操作。

好的，下面是您所需的内容。

官方文档连接

Flink 官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/
Flink Elasticsearch Connector 文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/connectors/elasticsearch.html
Elasticsearch Script Upsert API 文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update.html#upserts

问题描述

在 sink 端存在着老数据更新新数据的现象。例如，A 数据有两个版本: A1 和 A2，1 和 2 可以理解为时间戳，在落 elasticsearch 的时候，我们不能保证 A1 和 A2 的先后顺序，如果，写入 es 的顺序是 A1 A2 ，则 elasticsearch 中的数据是最新的，如果顺序是 A2 A1 ，则 elasticsearch 中的最终保存的数据不是最新的。那如何解决这个问题呢？就需要使用 elasticsearch 的 upsert + script 功能了。

演示代码

以下是使用 Flink 1.11.1 版本实现根据数据中的时间戳更新 Elasticsearch 数据的代码示例。假设我们有一个简单的数据流，包含用户名称、事件时间戳和一些其他信息。我们要将这些数据写入 Elasticsearch 中，并使用时间戳更新已存在的文档。

首先，我们需要引入 Flink Elasticsearch Connector 和 Elasticsearch 的 Java 客户端库。可以使用以下 Maven 依赖项：


<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
    <version>1.14.0</version>
</dependency>

然后，我们需要创建一个 Elasticsearch 连接器，并将其添加到 Flink 程序中：

import org.apache.flink.api.common.functions.RuntimeContext;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkFunction;
import org.apache.flink.streaming.connectors.elasticsearch.RequestIndexer;
import org