
Kafka
文章平均质量分 63
醺泽
这个作者很懒,什么都没留下…
展开
-
Kafka生产者
Kafka的生产者是向Kafka集群发送消息的部分,有很强的自主性,可以自主定义何时发送消息,发送怎样的消息。但是发送消息无法发送集合列表,只能以key,value的形式发送消息,在设置消息发送的模式时可以参考value值为json格式的内容,可能存储更大量的参数值。......原创 2022-07-21 11:39:40 · 468 阅读 · 0 评论 -
Kafka消费者
一、消费者详解(一)消费方式(二)分区分配策略1、RoundRobin2、Range二、客户端代码方式实现消费者(一)实现过程(二)代码实现(三)代码解析1、订阅主题2、订阅分区3、取消订阅三、拦截器...原创 2022-07-21 00:10:39 · 536 阅读 · 0 评论 -
如何获取Kafka中的全部主题
想要获取Kafka的全部主题,首先要连接Kafka,连接Kafka有多种方式,目前最常用的就是采用AdminClient的客户端对象连接Kafka集群。再根据AdminClient对象获取listTopics,得到主题列表,通过get到具体的name列表,打印出来的就是Kafka集群中的全部主题名。在通过AdminClient连接到Kafka集群后,得到了AdminClient对象。......原创 2022-07-19 23:27:44 · 2567 阅读 · 0 评论 -
Kafka的ack机制
Kafka的ACK机制,指的是producer的消息发送确认机制,这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面,两者不可兼得,只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据,不需要得知消息是否被集群接收,这样就会有大量的数据发送到Kafka的集群中,保证了Kafka集群的吞吐量。保证消息的可靠性就是发送消息必须保证消息存储到了集群中,producer才能发送下一个消息。...原创 2022-07-18 10:37:59 · 4411 阅读 · 0 评论 -
Kafka的基础架构
kafka传统定义:kafka是一个分布式的基于 发布/订阅模式 的 消息队列(Message Queue),主要应用于大数据实时处理领域。Kafka最新定义:Kafka是一个开源的分布式事件流平台,用于高性能数据管道、流分析、数据集成和关键任务应用。消息队列是作为一个单独的中间件产品存在的,独立部署,当有大量数据集中访问服务器时,服务器无法同时受理,此时消息队列作为一个中间产品,进行一个负载,给这些消息排队,然后服务器再获取能够处理的消息进行处理,大大减轻了服务器的压力。传统的消息队列的主要应用场景包括:原创 2022-07-05 09:11:59 · 481 阅读 · 0 评论