Flink实时处理并将结果写入ElasticSearch实战

最新推荐文章于 2024-01-28 14:33:00 发布

JavaBigData1024

最新推荐文章于 2024-01-28 14:33:00 发布

阅读量8.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Flink 文章标签： Flink 实时处理 Elasticsearch 分词器

本文链接：https://blog.youkuaiyun.com/weixin_44516305/article/details/90258883

本文详述了使用Flink进行实时数据处理并存入Elasticsearch的过程，包括Flink实时处理的代码实现，Elasticsearch中安装IK Analyzer中文分词器以及创建索引的步骤。通过实例展示了如何将Flink处理结果有效存储并进行中文分词检索。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink实时处理并将结果写入ElasticSearch实战

1 需求分析
2 Flink实时处理
3 Elasticsearch准备
- 3.1 安装IK Analyzer中文分词器
- 3.2 在Elasticsearch中创建索引
4 测试Flink实时处理

1 需求分析

使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyzer中文分词器对指定字段进行分词。

为了模拟获取流式数据，自定义一个流式并行数据源，每隔10ms生成一个Customer类型的数据对象并返回给Flink进行处理。
Flink处理后的结果保存在Elasticsearch中的index_customer索引的type_customer类型中，并且对description字段的数据使用IK Analyzer中文分词器进行分词。

2 Flink实时处理

2.1 版本说明

Flink：1.8.0
Elasticsearch：6.5.4
JDK：1.8

2.2 项目结构

使用IDEA创建一个名称为FlinkElasticsearchDemo的Maven工程，目录结构如下图所示：
在这里插入图片描述

2.3 程序代码

在pom.xml中引入flink以及flink连接elasticsearch相关的依赖，代码如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.flink</groupId>
    <artifactId>flink-elasticsearch-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>1.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>1.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.8.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch6_2.11</artifactId>
            <version>1.8.0</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.56</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin<