云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告

这两天研究了一下zeroMQ，号称史上最好的通讯库，比rabbitMQ快很多，基于c语言开发的，实时流处理sorm的task之间的通信就是用的zeroMQ。zeroMQ在使用模式上支持多种，有req-reply，publish-subscribe，pipe。 下图是zeroMQ的架构图简单说明一下，从上到下依次是网络、zeroMQ、用户的应用，相当于在应用层和网络层加了一个

业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。1)在架

为了提高消息传递交付的可用性，rabbitMQ有几种集群的方案，不同的方案有不同的优缺点1、普通的集群rabbitMQ中的exchange和queue都包含meta、contents、state等信息,exchange在集群中的每个节点都保存一份数据，但是queue不一样，queue在集群中对于contents只存储一份，其他节点只存储meta信息为什么只在一个节点存储queue的

Producer和QueueConsumer和Queue长连接

stream replayLineage trackingState Checkpointing