Java天下第1
Java后端工程师。
展开
-
Elasticsearch 创建索引mapping修改、修复
背景:原始index名字是indexName,mapping设置错误,且已经有数据进去,想要修改mapping结构。原创 2022-11-02 17:30:04 · 1206 阅读 · 0 评论 -
Kafka数据存储流程和log日志讲解
Kafka数据存储流程和log日志讲解原创 2022-06-13 19:46:04 · 485 阅读 · 0 评论 -
Consumer从头消费配置和手工提交offset配置
如果需要从头消费partition消息,怎操作? 自动提交offset问题手工提交offset配置和测试初次启动消费者会请求broker获取当前消费的offset值手工提交offset原创 2022-06-12 21:36:20 · 237 阅读 · 0 评论 -
SpringBoot整合Kafka消费者Consumer
SpringBoot整合Kafka消费者Consumer原创 2022-06-12 21:00:35 · 1587 阅读 · 0 评论 -
SpringBoot运行Kafka日志输出太多怎么办?一文教你如何调试日志配置
logback.xml内容原创 2022-06-12 19:46:04 · 2452 阅读 · 0 评论 -
针对kafka消费者的高频面试题
感谢您抽出时间来阅读本文章,期待您的点赞和评论互动!消费者根据什么模式从broker获取数据的?为什么是pull模式,而不是broker主动push?消费者采用 pull 拉取方式,从broker的partition获取数据pull 模式则可以根据 consumer 的消费能力进行自己调整,不同的消费者性能不一样如果是broker主动push,优点是可以快速处理消息,但是容易造成消费者处理不过来,消息堆积和延迟。消费者从哪个分区进行消费?一个 topic 有多个 partition,一个消费者组里面有多个消原创 2022-06-11 23:47:28 · 177 阅读 · 0 评论 -
SpringBoot整合Kafka核心生产者API
生产者发送到broker里面的流程是怎样的呢,一个 topic 有多个 partition分区,每个分区又有多个副本如果指定Partition ID,则PR被发送至指定Partition (ProducerRecord)如果未指定Partition ID,但指定了Key, PR会按照hash(key)发送至对应Partition如果未指定Partition ID也没指定Key,PR会按照默认 round-robin轮训模式发送到每个Partition如果...原创 2022-06-11 21:14:35 · 206 阅读 · 0 评论 -
SpringBoot整合kafka客户端实战(核心API——Admin)
感谢您抽出时间来阅读本文章,期待您的点赞和评论互动!二、创建Admin测试类 2.1 创建topic测试结果 测试结果 2.4 查看Topic详情2.5 增加分区数量原创 2022-06-10 21:37:45 · 467 阅读 · 0 评论 -
初学kafka必须掌握的核心知识点
感谢您抽出时间来阅读本文章,期待您的点赞和评论互动!BrokerProducer生产者Consumer消费者:ConsumerGroup消费者组同个topic,广播发送给不同的group,一个group中只有一个consumer可以消费此消息Topic每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic,主题的意思Partition分区Replication 副本(备胎)ReplicationLeader、ReplicationFollowerReplicationManageroffset原创 2022-06-10 20:21:11 · 131 阅读 · 0 评论 -
Kafka的数据存储流程和log日志
感谢您抽出时间来阅读本文章,期待您的点赞和评论互动! Partitiontopic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列是以文件夹的形式存储在具体Broker本机上LEO(LogEndOffset)表示每个partition的log最后一条Message的位置。HW(HighWatermark)offset: Segment:每个partition又由多个segment file组成;Kafka高效文件存储设计特点:...原创 2022-06-10 16:26:50 · 108 阅读 · 0 评论 -
Kafka的“点对点”和“发布订阅”模型的概念和实现
感谢您抽出时间来阅读本文章,期待您的点赞和评论互动!点对点(point to point)发布/订阅(publish/subscribe)编辑消费者配置(确保同个名称group.id一样)创建topic, 1个分区./kafka-topics.sh --create --zookeeper IP:PORT --replication-factor 1 --partitions 2 --topic t1 打开生产者,发送消息./kafka-console-producer.sh --broke原创 2022-06-10 15:57:33 · 870 阅读 · 0 评论 -
kafka初学使用命令小结
kafka初学使用命令小结查看topic 生产者发送消息 消费者消费消息 删除topic 查看topic节点状态原创 2022-06-10 12:57:03 · 210 阅读 · 0 评论