
kafka
文章平均质量分 55
scan724
这个作者很懒,什么都没留下…
展开
-
pyflink 读取kafka
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。原创 2023-06-12 14:16:55 · 1254 阅读 · 3 评论 -
python kafka 指定消费者名字
kafka不像其他的MQ,消费完数据,直接丢掉,而是会默认存储7天,存储7天后自动清除,故而可以从头开始消费。从指定topic的partiotion的指定setoff开始消费。kafka的消费者不是线程安全的,不能多线程启用。原创 2023-06-12 14:06:42 · 520 阅读 · 0 评论 -
kafka 创建单分区topic
[root@master bin]# ./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic topic_elink./kafka-topics.sh --delete --bootstrap-server 127.0.0.1:9092 --topic topic_elink[root@master bin]# ./kafka-topics.s原创 2023-06-12 10:46:50 · 669 阅读 · 0 评论 -
python 生产者、消费者
kafka不像其他的MQ,消费完数据,直接丢掉,而是会默认存储7天,存储7天后自动清除,故而可以从头开始消费。从指定topic的partiotion的指定setoff开始消费。kafka的消费者不是线程安全的,不能多线程启用。原创 2023-05-18 12:00:23 · 468 阅读 · 0 评论 -
kafka topic多分区乱序问题
kafka不像其他的MQ,消费完数据,直接丢掉,而是会默认存储7天,存储7天后自动清除,故而可以从头开始消费。从指定topic的partiotion的指定setoff开始消费。kafka的消费者不是线程安全的,不能多线程启用。原创 2023-05-18 11:36:28 · 628 阅读 · 0 评论 -
消费者组介绍
kafka原创 2023-01-11 11:19:09 · 396 阅读 · 1 评论 -
kafka rebalance
kafka原创 2023-01-11 11:10:57 · 167 阅读 · 0 评论 -
kafka 消息偏移量
kafka原创 2022-08-16 11:20:37 · 403 阅读 · 0 评论 -
kafka 订阅模式
>^Cnode1:/root/kafka_2.12-2.4.0#bin/kafka-console-producer.sh --broker-list 192.168.137.2:9092 --topic test_topic>aaaaaaaaa>bbbbbbbbb>ccccccccc>ddddddddd >eeeeeeeee>fffffffff>ggggggggg#!/usr/bin/env python# coding=utf-8..原创 2021-09-30 13:57:27 · 1121 阅读 · 0 评论 -
kafka记录上次偏移量
#!/usr/bin/env python# coding=utf-8from kafka import *from kafka import KafkaConsumerimport datetime,timeimport jsondef get_kafka_reviews(bootstrap_servers,topics): # print type(self.bootstrap_servers) consumer = KafkaConsumer(bootstrap_ser.原创 2021-09-30 14:00:25 · 300 阅读 · 0 评论