使用flink-rabbitmq-connector消费慢问题

最新推荐文章于 2025-09-30 03:28:38 发布

原创

最新推荐文章于 2025-09-30 03:28:38 发布 · 636 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#rabbitmq #flink #分布式

文章讲述了在Flink中使用RabbitMQConnector时遇到的消息堆积问题，以及如何通过自定义RichParallelSourceFunction并调整Consumer数量来解决这个问题。核心代码展示了如何在MQParalleSource类中创建并管理多个channel以提高消费能力，并使用basicGet方法代替basicConsume以避免触发异常。

场景： flink 消费 rabbitmq 数据写入到 starrocks

技术实现：使用官方给的rabbitmq connector 案例

遇到的问题：    通过web ui   无论怎么设置并行度  mq source 并行度都为 1   导致rabbitmq  大量堆积

优化后的方案：使用 RichParalleSourceFunction 增大consumer 消费数量

核心代码：使用 rabbitmq-client 集成到 sourcefunction 中

public class MQParalleSource extends RichParallelSourceFunction<String> {
   
   

    private String userName;
    private String password;
    private String virtualHost;
    private String hostName;
    private int portNumber;
    private String queueName;
    private String exchangeName;
    private int qos;

    private transient Connection conn;

    private volatile String msg;


    public MQParalleSource(String userName,