wzbwzt的博客

Kafka消息队列的通信模式1.点对点模式（queue）消息生产者发送消息到queue中，然后消息消费者从queue中取出并消费消息；一条消息被消费以后，queue中就不存在了，不存在重复消费2.订阅/发布模式（topic）消息生产者（发布）将信息发布到topic中,同时有多个消费者（订阅）消费该消息；和点对点不同的是，发布到topic中的消息会被所有的订阅者消费；补充：发布订阅模式下，当发布信息过于庞大时，单个订阅者处理能力不足，现实的处理方式一般为多个订阅者组成一个订阅组负载均衡消费topi

Kafka日志收集实现使用github.com/Shopify/sarama连接kafka，并往其中写数据使用github.com/hpcloud/tail读取日志文件使用zookeeper做集群管理使用ini做配置文件解析关于Kafka原理及工作流程见https://blog.youkuaiyun.com/wzb_wzt/article/details/107367245初始化kafka连接、以及往kafka发送数据的方法package kafkaimport ( "fmt" "gith

RabbitMQ是一个消息代理：它接受并转发消息。使用RabbbitMQ实现工作队列功能：使用任务队列的优点之一是能够轻松并行化工作。如果我们的工作正在积压，我们可以增加更多的工人，这样就可以轻松扩展。消息分发默认情况下，RabbitMQ将按顺序将每个消息发送给下一个消费者。平均而言，每个消费者都会收到相同数量的消息。这种分发消息的方式称为轮询。也可以设置告诉RabbitMQ不要一次向一个worker发出多个消息。或者，换句话说，在处理并确认前一条消息之前，不要向worker发送新消息。相反，

发布订阅与工作队列恰恰相反：工作队列是每条消息只有一个消费者，不存在一个任务被多个worker领取；发布订阅是将向多个消费者传递一个消息,一条消息被多次消费Exchanges（交换器）完整的消息传递模型:核心思想是生产者从不将任何消息直接发送到队列。实际上，生产者经常甚至根本不知道是否将消息传递到任何队列。相反，生产者只能将消息发送到交换器。交换器是非常简单的东西。一方面，它接收来自生产者的消息，另一方面，将它们推入队列。交换器必须确切知道如何处理接收到的消息。它应该被附加到特定的队列吗？还