Flink和Kafka整合Demo以及DeserializationSchema.class找不到的解决方法

最新推荐文章于 2025-04-05 19:00:09 发布
最新推荐文章于 2025-04-05 19:00:09 发布
阅读量1.1w 收藏
点赞数 3
分类专栏： flink 文章标签： flink-kafk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a6822342/article/details/79035254
版权

这里用的是用官网提供的maven命令构建的flink1.4.0的flink-quick-start工程，具体构建工程命令如下

mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java
-DarchetypeVersion=1.4.0

然后会获取到一个java的初始工程。

下面是一个flink连接kafka的demo

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
最低0.47元/天 解锁文章
flinksql报错 kafka.common.serialization.ByteArrayDeserializer is not an instance of org.apache.kafka.c
yy的博客
07-22 2400
完整报错内容 [ERROR] Could not execute SQL statement. Reason: org.apache.kafka.common.KafkaException: class org.apache.kafka.common.serialization.ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer 报错相关flinksql 代..
Flink消费kafka消息实战
2401_89317296的博客
01-24 777
kafka1:producer:如果您想了解更多docker环境下kafka消息生产者的细节，请参考；
Flink 消费kafka 自定义KafkaDeserializationSchema
qq_36470898的博客
02-07 2443
kafka中的数据通常是键值对，所以我们自定义反序列化从kafka中消费键值对的消息 实现需求： 读取多个topic数据进行不同处理输出，这里就需要自定义反序列化从kafka消费数据，然后分别处理。 效果 数据格式 转换后效果： 代码 自定义反序列化类 class LogDeserializationSchema extends KafkaDeserializationSchema[TopicBean] { // 是否最后一条数据，流是无界的 override def isEndO.
Flink实战：自定义KafkaDeserializationSchema(Java/Scala)
陆继森的技术专栏
04-25 1万+
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息，为方便大家学习，这里我实现了Java/Scala两个版本，由于比较简单这里直接上...
Kafka 和 Flink的讲解
最新发布
不辉放弃的博客
04-05 1420
【代码】Kafka 和 Flink的讲解。
解决：java.lang.ClassNotFoundException: org.apache.flink.api.common.serialization.DeserializationSchema
热门推荐
愿你远行千里，归来仍是少年
01-19 2万+
问题 运行Flink1.7消费kafka主题消息示例程序时，需要将消息的key-value使用string反序列化,提示Error如下： Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFou...
flink 读取kafka之自定义DeserializationSchema序列化
启迪思维，精进技术
01-12 1397
import com.alibaba.fastjson.JSON; import com.hundsun.quant.flow.model.Snapshot; import org.apache.flink.api.common.serialization.DeserializationSchema; import org.apache.flink.api.common.typeinfo.TypeInformation; /** * @author fl * @date: 2022-01-0...
Flink消费Kafka:自定义KafkaDeserializationSchema
kiwi198709的博客
01-17 8475
一、pom文件中添加依赖： <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> ...
Flink链接Kafka
金州饿霸吃不饱的博客
01-15 1348
二、基于 Flink 的 Kafka 消息消费者设置 Flink 执行环境：启用检查点机制：配置 Kafka 属性：创建 Kafka 消费者：将 Kafka 消费者添加到 Flink 数据流：启动 Flink 作业： 2.2 消费多个Topic 设置 Flink 执行环境：启用检查点机制：配置 Kafka 属性：定义 Kafka Topic 列表：创建 Kafka 消费者：将 Kafka 消费者添加到 Flink 数据流：启动 Flink 作业： 2.3 消费Topic的总体代码 2.
修复flink-jdbc含有schema的表报不存在
要成为架构师的男人
07-17 1497
博客背景 ​ 最近，使用flink读取postgresql的表数据时，代码一直报错，提示表不存在。通过debug发现，flink-jdbc的JDBCDialect类存在一点问题，现记录如下。 环境说明 flink版本：1.9.1 scala版本：2.12 postgresql数据库表结构： ipark_datacenter: ​ – ods ​ – t_test(id, name) 测试代码 import org.apache.flink.api.common.typeinfo.BasicT
Flink实战(Java)：自定义序列化器KafkaSerializationSchema和反序列化器KafkaDeserializationSchema
杜海的博客
10-28 7029
自定义序列化器： package com.sink; import org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema; import org.apache.kafka.clients.producer.ProducerRecord; import com.alibaba.fastjson.JSONObject; public class CustomKafkaSerializationSchema implem
java判断读到末尾_Flink实战：自定义KafkaDeserializationSchema(Java/Scala)
weixin_35043331的博客
12-27 444
微信公众号： 大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息，为方便大家学习，这里我实现了Java/Scala两个版本，由于比较简单这里直接上代码：一、Scala代码：1.自定义反序列化类：package comhad...
flink入门之使用JSONKeyValueDeserializationSchema反序列kafka消息
bradyM的博客
03-31 4908
背景需求 在日常生产中，我们大多数时候都会用到flink的kafka connector，在使用过程中，大多数的程序员都会使用new SimpleStringSchema()来反序列化Kafka中的数据，然后使用alibaba提供的fastJson来解析数据 例如： val jsonObject = JSON.parseObject(jsonStr) val eventId = JSON....
flink kafka自定义反序列化
wflh323的专栏
08-01 5460
flink kafka实时流计算时，通常会有将多个topic数据接入计算，而这时通常需要区分消息属于哪个topic进行针对处理。spark默认就将topic信息同kafka 消息一起提供出来了，flink 提供的SimpleStringSchema反序列化默认只将消息输出，topic信息没有，JSONKeyValueDeserializationSchema类提供了topic消息，要...
Flink反序列化之JsonDeserializationSchema和JSONKeyValueDeserializationSchema
qq_44962429的博客
12-27 1万+
1、引言 Flink Kafka的使用者需要知道如何将Kafka中的二进制数据转换为Java / Scala对象，大多数的程序员都会使用new SimpleStringSchema()来反序列化Kafka中的数据，然后使用alibaba提供的fastJson来解析数据，虽然这样可以实现业务的需求，但是存在很多不确定的因素。比如由于业务的原因，接受的json数据字段不稳定，有的数据多一个字段，有的业...
Flink1.4.0中反序列化及序列化类变化
an7800666的博客
02-04 524
Flink1.4.0中，反序列化及序列化时继承的类，有一些被标记为了“@deprecated”，路径上也有变化： 1.AbstractDeserializationSchema 以前路径 org.apache.flink.streaming.util.serialization.AbstractDeserializationSchema 现在路径： org.a...
轻松通关Flink第24讲：Flink 消费 Kafka 数据业务开发
sucaiwa的博客
03-28 5188
这一课时介绍了 Flink 消费 Kafka 的方式，比如从常用的指定单个或者多个 Topic、消息的序列化、分区的动态发现等，还从源码上介绍了 Flink 消费 Kafka 的原理。通过本课时的学习，相信你可以对 Flink 消费 Kafka 有一个较为全面地了解，根据业务场景可以正确选择消费的方式和配置。
达梦到kafka单向同步环境部署及dmhs使用过程中常见问题汇总
qq_31261717的博客
03-11 4669
达梦到kafka单向同步环境部署 一、安装ZooKeeper 1、 下载安装包地址： https://www.apache.org/dyn/closer.cgi/zookeeper/ 选择此链接： 点击stable： 注意一定要选择带bin的那个版本： 如果选择下边那个会报:找不到或无法加载主类： 原因分析： 即下载的是未编译的 jar 包。 注：zookeeper 好像从 3.5 版本以后，命名就发生了改变，如果是 apache-zookeeper-3.5.5.tar.gz 这般命名的，都是未编
Flink 实现 MySQL CDC 动态同步表结构
cloudbigdata的博客
01-25 1万+
作者：陈少龙，腾讯 CSIG 高级工程师使用 Flink CDC（Change Data Capture) 实现数据同步被越来越多的人接受。本文介绍了在数据同步过程中，如何将 Schema...
flink 设置kafka offset demo
06-08
好的，下面是一个简单的 Flink 设置 Kafka Offset 的示例代码： ```java import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09; import org.apache.flink.streaming.connectors.kafka.KafkaDeserializationSchema; import org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema; import org.apache.flink.streaming.connectors.kafka.KafkaSink; import org.apache.flink.streaming.connectors.kafka.config.StartupMode; import org.apache.flink.streaming.util.serialization.JSONKeyValueDeserializationSchema; import org.apache.flink.streaming.util.serialization.KeyedSerializationSchema; import org.apache.flink.util.Collector; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringDeserializer; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class FlinkKafkaOffsetDemo { public static void main(String[] args) throws Exception { // 从参数中读取 Kafka topic 和其他参数 final ParameterTool parameterTool = ParameterTool.fromArgs(args); String topic = parameterTool.get("topic"); String brokers = parameterTool.get("brokers"); String groupId = parameterTool.get("group-id"); String offsetReset = parameterTool.get("offset-reset", "latest"); // 设置 Flink 的执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE); // 设置 Kafka Consumer 的配置 Properties kafkaProps = new Properties(); kafkaProps.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers); kafkaProps.setProperty(ConsumerConfig.GROUP_ID_CONFIG, groupId); kafkaProps.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); kafkaProps.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); kafkaProps.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, offsetReset); // 从 Kafka 中读取数据 FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>(topic, new SimpleStringSchema(), kafkaProps); kafkaConsumer.setStartFromEarliest(); DataStream<String> input = env.addSource(kafkaConsumer); // 对数据进行处理 DataStream<String> result = input.flatMap(new FlatMapFunction<String, String>() { @Override public void flatMap(String value, Collector<String> out) throws Exception { out.collect(value); } }); // 将数据写入 Kafka Properties producerProps = new Properties(); producerProps.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers); producerProps.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); producerProps.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); KafkaSerializationSchema<String> kafkaSerializationSchema = new KeyedSerializationSchema<String>() { @Override public byte[] serializeKey(String element) { return null; } @Override public byte[] serializeValue(String element) { return element.getBytes(); } @Override public String getTargetTopic(String element) { return topic; } }; KafkaSink<String> kafkaSink = new KafkaSink<>(producerProps, kafkaSerializationSchema); result.addSink(kafkaSink); // 执行 Flink Job env.execute("Flink Kafka Offset Demo"); } } ``` 在上面的示例中，我们使用 FlinkKafkaConsumer 设置了 Kafka Consumer 的配置，并从 Kafka 中读取了数据。在从 Kafka 中读取数据的过程中，我们可以通过设置 `setStartFromEarliest()` 或 `setStartFromLatest()` 方法来设置从什么位置开始读取数据。 读取到的数据会经过我们自定义的 `flatMap()` 函数进行处理，然后再将处理后的数据写入 Kafka 中。在写入数据时，我们使用了 KafkaSink，并设置了 Kafka Producer 的配置和序列化方式。 在实际使用时，我们可以根据具体的业务场景来设置 Kafka Consumer 的 offset，以实现更加灵活的数据处理。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值