qq_35777564的博客

1.消费者消费过慢，导致消息积压 ​ 1.扩容，机器升级。 ​ 2.写一个脚本快速获取一批消息，使用脚本将其消费，外挂程序对其进行处理。 2.消费者消费过慢，导致消息过期 ​ 做好日志记录，写脚本将记录转换后存入消息队列中，在消费低谷时将这部分信息处理完成。 3.消息队列写满了，不能再存放消息了 ​ 1.写一个脚本，连接到消息队列去消费消息，消费完成就删除，快速降低磁盘占用。 ​ 2.做好监控，磁...

Kafka基础 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，L...

RabbitMQ基础 1.简介 ​ RabbitMQ是Erlang语言开发的基于AMQP的开源的消息系统。支持Linux、Windows、MacOX等主流操作系统。支持Java、Python等多种语言。 ​ AMQP是消息队列的一个协议。 ConnectionFactory、Connection、Channel都是RabbitMQ对外提供的API中最基本的对象。 Connection是Rabbit...

为什么使用消息队列？ 解耦、异步、削峰。 解耦：系统间耦合比较严重，一个模块调用了多个模块，互相之间的调用比较复杂。如果某一个依赖大面积报错或者挂掉，维护特别麻烦。而且对实时响应没有特别高的要求。 异步：串行化请求会导致一个请求响应时间会很长，如果有一个请求出错，整个响应可能都会挂掉。 削峰：业务高峰期并发请求太多，系统压力过大，写入消息队列后，在并发下来之后处理，性价比极高。 消息队列有什么优缺...