Flink kafka简单示例（一）统计topic中的单词后写入新的topic

已于 2023-05-04 15:49:12 修改
阅读量3.8k 收藏 2
点赞数
分类专栏： Flink kafka 文章标签： Flink Kafka Steam 流计算 大数据
于 2019-03-15 23:44:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/russle/article/details/88586918
版权

最近在调研各种计算框架，在看完Kafka Stream之后也顺便看了一下最流行的Flink，结合我们业务场景试验了一些小demo。下面给出一个简单示例，基本和官方类似。只是使用了最新的版本Flink kafka connector以及最新版本的Flink 1.7.2（截止2019年2月）

示例简要介绍

第一步将kafka topic作为source添加到DataStream
第二步读取topic的内容进行单词统计（统计单词基本上是大数据框架的helloWorld程序）
第三步将统计结果进行转换
第四步将结果存入到kafka另外一个topic中。

关于Flink的connector以及现在=的kafkaconnector，参考https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/connectors/ 和https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/connectors/kafka.html

版本
本文试验中使用Flink 1.7.2版本，kafka_2.12-1.0.0。 因此引入了flink-connector-kafka_2.12的1.7.2版本。

由于从kafka读取的内容是string类型，向kafka写入的结果是string，因此DeserializationSchema直接使用自带的SimpleStringSchema。 关于如何使用deserializationSchema以及TypeInformationSerializationSchema 、JsonDeserializationSchema AvroDeserializationSchema 后面有机会再讨论（最近工作非常忙）。

主要代码

pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.yq</groupId>
    <artifactId>FlinkDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <flink.version>1.7.2</flink.version>
        <scala.binary.version>2.12</scala.binary.version>
    </properties>

    <dependencies>

        <!-- Flink dependencies -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>${flink.version}</version>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-test-utils-junit</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- core dependencies -->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-twitter_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-jackson</artifactId>
            <version>2.7.9-6.0</version>
        </dependency>

        <!-- test dependencies -->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-test-utils_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>test</scope>
            <type>test-jar</type>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.21</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.21</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.20</version>
        </dependency>

        <!-- fastjson-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version> 1.2.31</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <!-- maven-resources-plugin插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <!--源码的Java版本-->
                    <source>1.8</source>
                    <!--运行环境的Java版本-->
                    <target>1.8</target>
                    <encoding>UTF8</encoding>
                </configuration>
            </plugin>
 

            <!--simplify the name of example JARs for build-target/examples -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-antrun-plugin</artifactId>
                <version>1.7</version>
                <executions>
                    <execution>
                        <id>rename</id>
                        <phase>package</phase>
                        <goals>
                            <goal>run</goal>
                        </goals>
                        <configuration>
                            <target>
                                <copy file="${project.basedir}/target/FlinkDemo-${version}-KafkaConnector.jar" tofile="${project.basedir}/target/KafkaConnector.jar" />
                                <copy file="${project.basedir}/target/FlinkDemo-${version}-WordCount.jar" tofile="${project.basedir}/target/WordCount.jar" />
                            </target>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>

        <pluginManagement>
            <plugins>
                <!--This plugin's configuration is used to store Eclipse m2e settings only. It has no influence on the Maven build itself.-->
                <plugin>
                    <groupId>org.eclipse.m2e</groupId>
                    <artifactId>lifecycle-mapping</artifactId>
                    <version>1.0.0</version>
                    <configuration>
                        <lifecycleMappingMetadata>
                            <pluginExecutions>
                                <pluginExecution>
                                    <pluginExecutionFilter>
                                        <groupId>org.apache.maven.plugins</groupId>
                                        <artifactId>maven-dependency-plugin</artifactId>
                                        <versionRange>[2.9,)</versionRange>
                                        <goals>
                                            <goal>unpack</goal>
                                        </goals>
                                    </pluginExecutionFilter>
                                    <action>
                                        <ignore/>
                                    </action>
                                </pluginExecution>
                            </pluginExecutions>
                        </lifecycleMappingMetadata>
                    </configuration>
                </plugin>
            </plugins>
        </pluginManagement>

    </build>
</project>

主要代码

package com.yq.kafka;


import org.apache.flink.api.common.JobExecutionResult;
import org.apache.flink.api.common.JobID;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import org.apache.flink.util.Collector;
import org.apache.kafka.clients.consumer.ConsumerConfig;

import java.util.Properties;

/**
 *  className: KafkaConnector
 *
 *  iot-temp topic输入内容类似， hello Java， Hello Test， Hello Python, 先统计为DataStream<Tuple2<String, Integer>>
 *  然后将DataStream<Tuple2<String, Integer>>转换为DataStream<String> ， 最后将结果写入到kafka中，结果为Kafka and Flink says: (hello,3)格式
 * @author EricYang
 * @version 2019/3/11 14:50
 */
public class KafkaConnector {
    private static final String KAFKA_BROKERS = "localhost:9092";
    public static void main(String[] args) throws Exception {
        final ParameterTool parameterTool = ParameterTool.fromArgs(args);
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        env.getConfig().setGlobalJobParameters(parameterTool);

        Properties properties = new Properties();
        properties.put("group.id", "flink-kafka-connector");
        properties.put("bootstrap.servers", KAFKA_BROKERS);
        properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");


        DataStream<String> messageStream = env.addSource(
                new FlinkKafkaConsumer<String>("iot-temp", new SimpleStringSchema(), properties));


        DataStream<Tuple2<String, Integer>> counts =
                // split up the lines in pairs (2-tuples) containing: (word,1)
                messageStream.flatMap(new Tokenizer())
                        // group by the tuple field "0" and sum up tuple field "1"
                        .keyBy(0).sum(1);

        DataStream<String> countsString =
                counts.map(new MapFunction<Tuple2<String, Integer>, String>() {
                    private static final long serialVersionUID = -6867736771747690202L;

                    @Override
                    public String map(Tuple2<String, Integer> value) throws Exception {
                        System.out.println("kafka msg=" + value);
                        return "Kafka and Flink says: " + value;
                    }
                });

        FlinkKafkaProducer<String> myProducer = new FlinkKafkaProducer<String>(
                KAFKA_BROKERS,
                "topic1",
                new SimpleStringSchema());

        myProducer.setWriteTimestampToKafka(true);
        countsString.addSink(myProducer);

      
        if (parameterTool.has("output")) {
            counts.writeAsText(parameterTool.get("output"));
        } else {
            System.out.println("Printing result to stdout. Use --output to specify output path.");
            counts.print();
        }

        // execute program
        JobExecutionResult result = env.execute("Streaming Kafka");
        JobID jobId = result.getJobID();
        System.out.println("jobId=" + jobId);
    }

    public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {

        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            // normalize and split the line
            String[] tokens = value.toLowerCase().split("\\W+");

            // emit the pairs
            for (String token : tokens) {
                if (token.length() > 0) {
                    out.collect(new Tuple2<>(token, 1));
                }
            }
        }
    }

}

效果截图

在这里插入图片描述

Flink从Kafka消费并统计结果写入Kafka
weixin_42539417的博客
08-27 2435
Flink从Kafka消费到另一个Kafka
flink实时kafka写入doris
celltobig的专栏
09-25 739
【代码】flink实时kafka写入doris。
kafka示例代码
01-23
kafkaDemo，通过API向指定主题生产数据，创建topic代码，删除topic代码，创建消费者线程指定消费者组
Flink+Kafka整合的实例
weixin_30361753的博客
08-15 1084
Flink+Kafka整合实例 1.使用工具Intellig IDEA新建一个maven项目，为项目命名为kafka01。 2.我的pom.xml文件配置如下。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln...
kafka + flink +mysql 案例
最新发布
qq_42572322的博客
03-09 556
和，并且你希望将中的数据写入到表，而将中的数据写入到表。maven。
Flink+Kafka：FlinkKafkaConsumer简单样例
程裕强的专栏
09-10 1966
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
Kafka Flink示例（基于OSX环境）
大道至简
12-28 341
需要安装zookeeper kafka 下载及安装 解压至/opt目录 zk启动 bin/zkServer.sh start kafka启动 bin/kafka-server-start.sh config/server.properties bin/zkServer.sh start bin/kafka-server-start.sh config/server.properties 测试 bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181
Flink写入数据到Kafka案例
wanjialin的博客
02-22 1392
案例准备： 1、启动zookeeper 2、启动Kafka 3、打开IDEA 案例需求： 需求：使用flink写入数据到Kafka 代码实现： def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val stream = env.fromElements( "hello",
并发消费kafka数据并写入hdfs。 基于flink统计实时ip热点统计.zip
03-20
本示例中，我们探讨的主题是如何利用Apache Flink进行并发消费Kafka数据，并将处理结果写入Hadoop Distributed File System（HDFS）。Flink是一个强大的流处理框架，而Kafka是一个高效的分布式消息中间件，HDFS则是...
FLINK 1.12.2 读取KAFKA写入HIVE的完整示例
arwenlin的博客
05-21 3882
本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。 目录 1依赖 2代码 3发布集群 3.1打包后上传到集群执行 3.2IDE远程发布集群执行 1依赖 <dependencies> <dependency> <groupId>com.fasterxml.jackson.core</
flink读取kafka数据.zip
01-04
本项目涉及的关键技术包括Flink与Kafka的集成、数据计算后的存储以及流式数据导入MySQL。以下是这些技术的详细说明： 1. **Flink 读取 Kafka 数据**： Apache Kafka 是一个分布式流处理平台，用于构建实时数据管道...
flink-connector-kafka_2.11-1.9.3.jar
07-14
flink是新一代的流式计算引擎，它需要从不同的第三方存储引擎读取数据，进行一定的处理，写出到不同的存储引擎，Connector就相当于是一个连接器，连接flink系统和外界存储系统。
flink消费kafka到greenplum
05-06
flink消费kafka到greenplum， 以及flink datastream,dataset 使用等，实时数据库读取，存储到greenplum，应用窗口等实战例子
第一个Flink例子-flink写入kafka
DRD
01-29 295
第一个Flink例子-flink写入kafka依赖代码运行 依赖 1.zookeeper 单机模式，参考：https://blog.youkuaiyun.com/sndayYU/article/details/90718238 基本上绿色版改下conf/zoo.cfg的日志和数据目录、建立下对应目录。 2.kafka 单机模式，参考：https://blog.youkuaiyun.com/sndayYU/article/details/90718786 基本上建立下 D:\tmp\kafka-logs 这个目录就ok了 代码 1.
Flink学习之旅----Flink整合Kafka实现单词的统计
追逐蓦然
05-14 1109
Flink整合Kafka实现单词的统计前言Kafka简单命令安装kafka环境启动生产者生产者开始实战前期准备Flink链接Kafka导入相关依赖Flink具体代码数据写入Kafka 前言 因为工作的需求，我在几天里面学习了Flink和Kafka，今天写出来Flink整合Kafka实现单词的统计 Kafka简单命令 对于kafka的简介，我这里就不多说了，大家自己百度一下，应该都清楚的，我这...
Flink Kafka
u012485099的博客
01-14 2801
如自定义 KafkaSerializationSchema。且调用 FlinkKafkaProducer(String defaultTopic,KafkaSerializationSchema serializationSchema,Properties producerConfig,FlinkKafkaProducer.Semantic semantic) 构造器。此时分区器为null。此时依次调用了方法。send方法为kafka的发送方法。
Flink读取kafka数据并进行单词计数
weixin_45264992的博客
10-12 765
Flink读取kafka数据并进行单词计数 前言： 这是一个使用Flink实时读取kafka数据，并将单词个数统计实时输出到控制台的demo. 依赖： <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId>
Kafka简单使用示例
强强强子的博客
04-02 774
kafka简介 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies. 简单来说，就是一个分...
【Kafka】命令行管理topic
Just Do IT
04-11 1440
1. 创建topic [hadoop@node03 bin]$ kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181 Created topic "test". 参数说明： partitions： 指定...
flink动态sink到kafka不同的broker和topic中
06-08
在 Flink 中，可以使用 `FlinkKafkaProducer` 来将数据写入 Kafka 中。如果要动态地将数据写入到不同的 Kafka 主题或 Broker 中，可以通过构建 `FlinkKafkaProducer` 实例的方式来实现。 首先，要定义一个 `...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值