首次探索消息队列——kafka
1.kafka消息队列(基于发布订阅模式的消息队列,应用于大数据实时处理领域)
1.点对点模式(一对一,消费者主动拉去,使用后删除)
2.发布订阅模式(一对多,很多消费者消费,消费后不删除,记住自己消费到的地方)
celery是基于任务的队列,而不是消息
2.基础架构
1.方便扩展,提高吞吐量,一个topic分为多个partition
2.配合分区设计,提出消费者组概念,组内消费者并进行消费
3.提高可用性,为每个partition增加若干副本,类似于NameNode Ha
[外链图片转存失败,源站可
原创
2020-12-13 11:00:44 ·
266 阅读 ·
0 评论