qq_38571987的博客

近些年，项目中基本是离不开消息队列，消息队列的存在可以给我解决很多问题，特别是在数据量并发很大的情况下，带来的收益是很客观的，因此很多消息队列的框架都创建的出来，比如RabbitMQ，ActiveMQ，Kafka，RocketMQ，每个消息都有优劣，在这里我们只谈论Kafka，因为项目中用到的是Kafka哈哈哈，抱歉哈，目前只能说说Kafka，后面有机会可以说说其他的消息队列，比如RabbitMQ，虽然项目中也用到了，但是了解不是很深入，也就不误导大家了。下面还是通过几个方面来说明Kafka的性能为什么这

上文中，我们说到了关于Kafka消息丢失和消息重复消费的问题，但不知道小伙伴们有没有遇到这样的应用场景，在并发量过大，生产者生产消息的速度过大，消费者端消费速度太慢，导致消息不能得到"实时"消费，而且消息的过多堆积也有可能对Broker端的持久化造成很大影响，一般为了提高消费者的消费速度，第一个想到的应该就是开启多个线程来进行消息消费了，但这又会导致一个很棘手的问题，那就是在多线程的环境下，消息的消费顺序是得不保证的，哎，一个问题解决了反而又带来了一个更大的问题，头大，小伙伴们莫急，现在我就来给大家一起解决

周末有空，想到之前项目中用到了消息队列，当时只是简单用了一下工具包，开发完goon功能需求之后，自己又去认真看来一下原理，现在有空就和小伙伴们分享一下吧，希望有问题的地方大家可以指正，互相交流。​ 我们项目是在物联网场景下的，需要采集底层设备的数据，然后对数据进行分析处理，因为数据上传是频率还是很高的，所以项目中用了消息队列进行数据缓冲，上层从队列中读取设备上传的数据，进行数据清理，再进行前端展示，项目刚开始用的是EMQ，是不到大家有没有听说过，当时用这个的原因是因为项目中有个对设备数据生成实时告