Flink 系例之 Connectors 连接 ElasticSearch

Flink与Elasticsearch交互实践

原创

已于 2022-07-12 13:49:52 修改 · 2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #搜索引擎 #flink

于 2022-07-08 14:30:33 首次发布

该博客展示了如何使用Flink DataStream Connectors连接到ElasticSearch，实现数据流的输入和输出。示例包括从ElasticSearch检索数据并转换为DataStream，以及将DataStream数据写入ElasticSearch。环境配置为Java 1.8.x，Flink 1.11.1和Elasticsearch 6.x。主要涉及的类有DataStreamSource和DataStreamSink，详细代码示例给出。

通过使用 Flink DataStream Connectors 数据流连接器连接到 ElasticSearch 搜索引擎的文档数据库 Index，并提供数据流输入与输出操作；

示例环境

java.version: 1.8.x
flink.version: 1.11.1
elasticsearch：6.x

示例数据源（项目码云下载）

Flink 系例之搭建开发环境与数据

示例模块（pom.xml）

Flink 系例之 DataStream Connectors 与示例模块

数据流输入

DataStreamSource.java

package com.flink.examples.elasticsearch;

import com.flink.examples.TUser;
import com.google.gson.Gson;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.RichSourceFunction;
import org.apache.http.Header;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;

import java.io.IOExce