各种技术中间件对比（2020.11.9第二次更新）

最新推荐文章于 2023-09-07 15:56:29 发布

原创

最新推荐文章于 2023-09-07 15:56:29 发布 · 1.5k 阅读

CC 4.0 BY-SA版权

文章标签：

本文对比了多种大数据技术，包括Kafka与其它MQ中间件、分布式计算框架、海量数据存储方案、OLAP框架、任务调度系统、数据采集工具、工作流调度工具、数据分析工具、数据存储系统等，帮助读者理解各技术的优势与适用场景。

1. Kafka比对其它MQ中间件

可扩展	Kafka集群可以透明的扩展，增加新的服务器进集群。
高性能	Kafka性能远超过传统的ActiveMQ、RabbitMQ等，Kafka支持Batch操作。
容错性	Kafka每个Partition数据会复制到几台服务器，当某个Broker失效时，Zookeeper将通知生产者和消费者从而使用其他的Broker。

重复消息	Kafka保证每条消息至少送达一次，虽然几率很小，但一条消息可能被送达多次。
消息乱序	Kafka某一个固定的Partition内部的消息是保证有序的，如果一个Topic有多个Partition，partition之间的消息送达不保证有序。
复杂性	Kafka需要Zookeeper的支持，Topic一般需要人工创建，部署和维护比一般MQ成本更高。

Kafka	主要用于处理活跃的流式数据,大数据量的数据处理上
其他MQ	用在对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量还在其次，更适合于企业级的开发

	数据可靠性	延迟	单机吞吐	社区	客户端
ActiveMQ	中	/	万级	不太活跃	支持全面
RabbitMQ	高	微秒级	万级	活跃	支持全面
Kafka	高	毫秒级	十万级	活跃	支持全面
RocketMQ	高	毫秒级	十万级	有待加强	有待加强