大数据系列 | Kafka架构分析及应用

1. 消息系统介绍

   常用消息系统对比：
   ■ RabbitMQ：Erlang编写，支持多协议AMQP、XMPP、SMTP、STOMP。支持负载均衡、数据持久化。同时支持Peer-to-Peer和发布/订阅模式。.
   ■ Redis：基于Key-Value对的NoSQL数据库，同时支持MQ功能，可做轻量级队列服务使用。就入队操作而言，Redis对短消息（小于10KB)的性能RabbitMQ好，长消息的性能比RabbitMQ差。
   ■ ZeroMQ：轻量级，不需要单独的消息服务器或中间件，应用程序本身扮演该角色，Peer-to-Peer。它实质上是一个库，需要开发人员自己组合多种技术，使用复杂度高。
   ■ ActiveMQ：JMS实现，Peer-to-Peer，支持持久化.、XA事务。
   ■ Kafka/Jafka：高性能跨语言的分布式发布/订阅消息系统，数据持久化，全分布式，同时支持在线和离线处理。
   ■ MetaQ/RocketMQ：纯Java实现，发布/订阅消息系统，支持本地事务和XA分布式事务。

   消息系统适用场景：

   ■ 解耦： 各位系统之间通过消息系统这个统一的接口交换数据，无须了解彼此的存在
   ■ 冗余： 部分消息系统具有消息持久化能力，可规避消息处理前丢失的风险