2024年大数据最新MQ笔记-MQ相关知识，2024年最新2024最新大厂大数据开发面试真题解析

最新推荐文章于 2025-05-26 15:18:12 发布

2401_84186109

最新推荐文章于 2025-05-26 15:18:12 发布

阅读量834

点赞数 24

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.youkuaiyun.com/2401_84186109/article/details/138823278

版权

程序员专栏收录该内容

110 篇文章

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

        }
    });
    // 交换机到队列：这个参数为true表示如果发送消息到了RabbitMq，没有对应该消息的队列。那么会将消息返回给生产者，此时仍然会发送ack确认消息，否则丢弃消息
    rabbitTemplate.setMandatory(true);
    // 交换机到队列：Mandatory为true时设置broker消息返回
    rabbitTemplate.setReturnsCallback((returnedMessage) -> {
        log.info("RabbitMQ-交换机到队列退回:::return callback message：{},code:{},text:{},exchange:{},routingKey:{}",
                returnedMessage.getMessage(), returnedMessage.getReplyCode(), returnedMessage.getReplyText(),
                returnedMessage.getExchange(), returnedMessage.getRoutingKey());
    });

// rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey)
// -> log.info(“return callback message：{},code:{},text:{}”, message, replyCode, replyText));
}
#使用yml自动配置时配置rabbitmq的模板
@Autowired
private RabbitTemplate rabbitTemplate;
@PostConstruct
public void init() {
// 发送到交换机：消息确认
rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> {
log.info(“RabbitMQ-发送到交换机:::Confirm callback id:{},ack:{},cause:{}”, correlationData, ack, cause);
if (ack) {
log.info(“RabbitMQ-发送到交换机:::成功”);
} else {
log.info(“RabbitMQ-发送到交换机:::失败-{}”, cause);
}
});
// 交换机到队列：这个参数为true表示如果发送消息到了RabbitMq，没有对应该消息的队列。那么会将消息返回给生产者，此时仍然会发送ack确认消息，否则丢弃消息
rabbitTemplate.setMandatory(true);
// 交换机到队列：Mandatory为true时设置broker消息返回
rabbitTemplate.setReturnsCallback((returnedMessage) -> {
log.info(“RabbitMQ-交换机到队列退回:::return callback message：{},code:{},text:{},exchange:{},routingKey:{}”,
returnedMessage.getMessage(), returnedMessage.getReplyCode(), returnedMessage.getReplyText(),
returnedMessage.getExchange(), returnedMessage.getRoutingKey());
});
// rabbitTemplate.setReturnCallback((message, replyCode, replyText, exchange, routingKey)
// -> log.info(“return callback message：{},code:{},text:{}”, message, replyCode, replyText));
}


     创建队列绑定交换机

#配置文件方式
// 创建死信队列
@Bean
public Queue createDeadQueue() {
return new Queue(MqConstants.DEADQUEUE, true);
}
// 创建死信交换机
@Bean
public DirectExchange createDeadExchange() {
return new DirectExchange(MqConstants.DEADEXCHAGENAME, true, false);
}
// 死信交换机死信队列绑定
@Bean
public Binding createDeadBinding() {
return BindingBuilder.bind(createDeadQueue()).to(createDeadExchange()).with(MqConstants.DEADQUEUE);
}
// 声明direct类型的Exchange
@Bean
public Exchange directExchange() {
return new DirectExchange(MqConstants.EXCHAGENAME, true, false);
}
// 声明和direct类型的Exchange绑定的queue
@Bean
public List queues() {
List queueList = new ArrayList<>();
List queueNames = Collections.singletonList(MqConstants.DEFAULTQUEUE);
// 设置死信队列
HashMap<String, Object> map = new HashMap<String, Object>();
map.put(“x-dead-letter-exchange”, MqConstants.DEADEXCHAGENAME);
map.put(“x-dead-letter-routing-key”, MqConstants.DEADQUEUE);
for (String queueName : queueNames) {
queueList.add(new Queue(queueName, true, false, false, map));
}
return queueList;
}
// direct类型的Exchange绑定queue
@Bean
public List bindings() {
List bindingList = new ArrayList<>();
for (Queue queue : queues()) {
bindingList.add(BindingBuilder.bind(queue).
to(directExchange()).with(queue.getName()).noargs());
}
return bindingList;
}
// 声明延迟交换机使用自定义的交换机CustomExchange，需要Mq安装rabbitmq-delayed-message-exchange插件参考开头安装环境
@Bean
public CustomExchange delayExchange() {
Map<String, Object> args = new HashMap<>(1);
// 这里使用直连方式的路由，如果想使用不同的路由行为，可以修改，如 topic
args.put(“x-delayed-type”, “direct”);
return new CustomExchange(MqConstants.DELAYEXCHAGENAME, “x-delayed-message”, true, false, args);
}
// 声明和延时类型的Exchange绑定的queue
@Bean
public List delayQueues() {
List queueList = new ArrayList<>();
List queueNames = Collections.singletonList(MqConstants.ORDERTIMEOUTQUEUE);
// 设置死信队列
HashMap<String, Object> map = new HashMap<String, Object>();
map.put(“x-dead-letter-exchange”, MqConstants.DEADEXCHAGENAME);
map.put(“x-dead-letter-routing-key”, MqConstants.DEADQUEUE);
for (String queueName : queueNames) {
queueList.add(new Queue(queueName, true, false, false, map));
}
return queueList;
}
// 延时类型的Exchange绑定queue
@Bean
public List delayBindings() {
List bindingList = new ArrayList<>();
for (Queue queue : delayQueues()) {
bindingList.add(BindingBuilder.bind(queue).
to(delayExchange()).with(queue.getName()).noargs());
}
return bindingList;
}
/**
* 声明Topic交换机用于广播消息如果本项目不消费可以不创建队列和绑定
*
* @return
*/
@Bean
public TopicExchange runtimeTopicexchange() {
return new TopicExchange(MqConstants.RUNTIMETOPICEXCHAGENAME, true, false);
}
# 配置文件方式声明的Exchange和queue一般会在有监听时(注解)才被创建到Mq，如果消费者和生产者不在一个项目那么消费者启动时无法订阅消息，如果想项目启动就创建可以使用rabbitAdmin，或者不使用配置文件方式使用声明式注解方式来创建消费者
@Autowired
RabbitAdmin rabbitAdmin;
// 创建初始化RabbitAdmin对象
@Bean
public RabbitAdmin rabbitAdmin(ConnectionFactory connectionFactory) {
RabbitAdmin rabbitAdmin = new RabbitAdmin(connectionFactory);
// 只有设置为 true，spring 才会加载 RabbitAdmin 这个类
rabbitAdmin.setAutoStartup(true);
return rabbitAdmin;
}
// 创建交换机和对列解决懒加载启动时不自动创建队列和交换机问题
@Bean
public void createExchangeQueue() {
rabbitAdmin.declareExchange(createDeadExchange());
rabbitAdmin.declareQueue(createDeadQueue());
rabbitAdmin.declareBinding(createDeadBinding());

    rabbitAdmin.declareExchange(directExchange());
    for (Queue item : queues()) {
        rabbitAdmin.declareQueue(item);
    }
    for (Queue item : delayQueues()) {
        rabbitAdmin.declareQueue(item);
    }

    for (Binding item : bindings()) {
        rabbitAdmin.declareBinding(item);
    }
    for (Binding item : delayBindings()) {
        rabbitAdmin.declareBinding(item);
    }
    rabbitAdmin.declareExchange(runtimeTopicexchange());
}

声明式注解方式

@RabbitListener(bindings = @QueueBinding(
        value = @Queue(value = "test",durable = "true", declare = "true", arguments = {}),
        exchange = @Exchange(value = "testEx", type = ExchangeTypes.TOPIC),
        key = {"aa"}
))
public void aa(String msg) {
    System.out.println(msg);
}

如果配置了重试可以配置最大重试次数结束时的监听

/**
 * spring-retry重试机制：当重试次数达到最大，消息仍然消费失败时回调。
 * 如果开启这个类，则死信队列失效，消息消费失败，即使配置了死信队列，消息也不会进入死信队列。
 * 重试失败回调和死信队列只能二选一！！！spring 提供回调实现类有如下几个：
 * RejectAndDontRequeueRecoverer ：消费失败，并且消息不再入列，spring默认使用。
 * ImmediateRequeueMessageRecoverer ：将消息重新入列
 * RepublishMessageRecoverer：转发消息到指定的队列，
 *
 * @return
 */
@Bean
public MessageRecoverer messageRecoverer() {
    return (message, cause) -> {
        log.info("MQ调用spring-retry重试次数达到最大仍然失败-{}", message.toString());
    };
}


    创建消费者

创建一个接口后面多个消费者可以有不同的实现

public interface MqOrderDataProcessService<T> {
    // 数据业务处理
    void process(String str, Channel channel, Message message);
}
@Override
@RabbitListener(queues = MqConstants.DEADQUEUE)
public void process(String str, Channel channel, Message message) {
    try {
        log.info("MqDeadDataProcessService process recive data {}", str);
        // 确认消息消费成功，第二个参数multiple是否使用批量确认
        channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
    } catch (Exception e) {
        try {
            // 消费者处理出了问题，需要告诉队列信息费失败重回队列，第二个参数multiple是否使用批量确认
            channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, true);
            // 还可以使用basicReject(拒绝一条消息)，basicNack(拒绝多条消息)，requeue参数为false时从队列删除或打入死信(打入死信需配置绑定了死信队列)为true时重回队列(需要谨慎设计程序的逻辑，否则很有可能导致消息一直重复消费失败并且重复重新入队，表现为消费者线程出现死循环逻辑，耗尽服务器CPU资源)
            // channel.basicReject(message.getMessageProperties().getDeliveryTag(), true);
        } catch (IOException ex) {
            log.info("MqDeadDataProcessService process faild {}", ex.getMessage());
        }
        // 死信和重试只能有一个，重试次数最后回调messageRecoverer，上面try catch去掉直接抛异常就可以走重试

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

(img-MZ2RjNKb-1715612062065)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取