《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ

本文介绍了如何使用Flink从Kafka读取数据,并将其写入RabbitMQ。首先,详细讲解了安装RabbitMQ的过程,接着在Flink项目中添加RabbitMQ连接器的依赖。接着,创建了一个生产者工具类,用于向RabbitMQ发送数据。然后展示了Flink主程序的实现,强调了配置和运行的注意事项,包括checkpoint的设置和数据一致性的保证。最后,通过实例演示了Flink消费Kafka数据并写入RabbitMQ的流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka  写过 Flink 将处理后的数据后发到 Kafka 消息队列中去,当然我们常用的消息队列可不止这一种,还有 RocketMQ、RabbitMQ 等,刚好 Flink 也支持将数据写入到 RabbitMQ,所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。

前提准备

安装 RabbitMQ

这里我直接用 docker 命令安装吧,先把 docker 在 mac 上启动起来。

在命令行中执行下面的命令:

docker run -d  -p 15672:15672  -p  5672:5672  -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin --name rabbitmq rabbitmq:3-management

【大数据开发学习资料领取方式】:加入大数据技术学习交流群458345782,点击加入群聊,私信管理员即可免费领取

登录用户名和密码分别是:admin / admin ,登录进去是这个样子就代表安装成功了:

image

依赖

pom.xml 中添加 Flink connector rabbitmq 的依赖如下:

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-rabbitmq_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

生产者

这里我们依旧自己写一个工具类一直的往 RabbitMQ 中的某个 queue 中发数据,然后由 Flink 去消费这些数据。

注意按照我的步骤来一步步操作,否则可能会出现一些错误!

RabbitMQProducerUtil.java

import com.rabbitmq.client.Channel;
import com.rabbi
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值