rabbitMq设置多线程并设置线程池消费处理

一名陈序员

已于 2022-07-17 21:20:11 修改

阅读量1.1w

点赞数

分类专栏： mq 文章标签： rabbitmq

于 2022-07-01 09:34:48 首次发布

本文链接：https://blog.youkuaiyun.com/m0_56864757/article/details/125552298

版权

mq 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了 RabbitMQ 中消费者配置项的作用及应用场景，特别是如何通过调整并发消费者数量和预取计数来优化消息处理流程。适用于需要长时间处理的文件转换任务或高并发的短信发送场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步，先写配置

@Configuration
public class RabbitmqConfig {
    @Bean("batchQueueRabbitListenerContainerFactory")
    public RabbitListenerContainerFactory<?> rabbitListenerContainerFactory(ConnectionFactory connectionFactory){
        SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();
        factory.setConnectionFactory(connectionFactory);
        factory.setMessageConverter(new Jackson2JsonMessageConverter());
        //确认方式,manual为手动ack.
        factory.setAcknowledgeMode(AcknowledgeMode.MANUAL);
        //每次处理数据数量，提高并发量
        //factory.setPrefetchCount(250);
        //设置线程数
        //factory.setConcurrentConsumers(30);
        //最大线程数
        //factory.setMaxConcurrentConsumers(50);
        /* setConnectionFactory：设置spring-amqp的ConnectionFactory。 */
        factory.setConnectionFactory(connectionFactory);
        factory.setConcurrentConsumers(1);
        factory.setPrefetchCount(1);
        //factory.setDefaultRequeueRejected(true);
        //使用自定义线程池来启动消费者。
        factory.setTaskExecutor(taskExecutor());
        return factory;
    }

    @Bean("correctTaskExecutor")
    @Primary
    public TaskExecutor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        // 设置核心线程数
        executor.setCorePoolSize(100);
        // 设置最大线程数
        executor.setMaxPoolSize(100);
        // 设置队列容量
        executor.setQueueCapacity(0);
        // 设置线程活跃时间（秒）
        executor.setKeepAliveSeconds(300);
        // 设置默认线程名称
        executor.setThreadNamePrefix("thread-file-queue");
        // 设置拒绝策略rejection-policy：当pool已经达到max size的时候，丢弃
        // executor.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardPolicy());
        // 等待所有任务结束后再关闭线程池
        executor.setWaitForTasksToCompleteOnShutdown(true);
        return executor;
    }
}

主要看这两个配置

factory.setConcurrentConsumers(1);

factory.setPrefetchCount(1);

如果设置为1，在消费的时候线程池就会开启多个线程来消费进行，意思就是一个线程只消费一条消息，这种适于消费时间处理长，处理的流程比较复杂，这种例如文件转换，需要时间

如果是大于1的，看具体设置的值，比如50，那每个线程就会消费50个消息，等到消息满了，才会开启其他线程来消费，这种适用于高并发的情况，消费时间短，消费量很大，比如发短信

消费者配置

@RabbitListener(queues = "${xx.queue}", containerFactory = "batchQueueRabbitListenerContainerFactory") //指定上面配置的连接bean对象
@RabbitHandler
public void handlexxxQueue(@Payload Media media, Message message, Channel channel) throws IOException, InterruptedException {
    //提交单条消息
    channel.basicAck(deliveryTag, false);
}