深入了解kafka机制

最新推荐文章于 2024-05-22 10:22:32 发布
原创 最新推荐文章于 2024-05-22 10:22:32 发布 · 520 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #优化

kafka选举机制

当kafka集群中某分区中leader挂掉 ,我们需要followers选取新的leader保证该topic可用，但是有些follower本身可能处于落后或崩溃状态，所以为了必须要保证选举出来的新的leader是最新的有效的，kafka维护了一组实时同步leader的副本(ISR列表)。只有这组成员中才能当选leader。

分区副本管理

kafka会避免是单节点中保有大量分区副本，而是以循环的方式平衡集群中分区。也会平衡分配每个节点各分区副本的leader数，以使每个节点都是按比例分配其分区的leader。这样不会导致某些节点拥有leader过多而需要处理大量请求影响，而有些节点大量空闲,浪费整体资源。

日志压缩

kafka在数据保留方式中除了提供了在固定时间段后或日志达到某个预定大小后丢弃旧日志数据。以及更精细的保留机制(日志压缩)，例如在一段时间对同一用户发生修改邮箱的操作，这些操作通过日志记录下来并且保存到kafka中:

123 => bill@microsoft.com

。。。。。

123 => bill@gatesfoundation.org

。。。。。

123 => bill@gmail.com

kafka可以保证我们至少保留每个主键的最新更新(例如日志压缩后会保留123 => bill@gmail.com)，日志压缩是一种提供更细粒度的每个记录保留的机制，而不是可以提供基于时间的粗粒度保留的机制。这个想法是有选择地删除具有相同主键的最新更新的记录。这样，可以确保日志至少具有每个键的最后状态。

 

配额

Kafka集群可以对请求强制执行配额，以控制客户端使用的代理资源，kafka broker 为每组客户(共享配额)强制执行两种类型的客户配额:

1.网络带宽配额 :定义字节速率阈值（从0.9开始）

2.请求速率配额:将CPU使用率阈值定义为网络和I / O线程的百分比（从0.11开始）

生产者和消费者有可能产生/消费大量数据或以非常高的速率生成请求，从而垄断broker。导致网络饱和，拥有配额可以避免这些问题，并且在大型多租户群集中尤为重要。

 

kafka client命令:

添加topic

> bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \

      --partitions 5 --replication-factor 3 --config x=y

broker_host:port 

replication-factor =3 代表往多少个副本中写入数据,3代表最多2台服务器发送故障，才失去对数据的访问权限(官网建议设置为2，3)

partitions =5 控制日志实际分区数,分区数量有几个影响。每个分区必须完全适合一台服务器。因此，如果有20个分区，则整个数据集（以及读写负载）将由不超过20台服务器（不计算副本）处理。分区数会影响使用者的最大并行度

config 添加配置

修改主题:

> bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic my_topic_name \
      --partitions 40 

kafka目前不支持对partitions小于之前值的设置，Kafka也不会尝试以任何方式自动重新分配数据。。这样代表着如果使用hash(key) % number_of_partitions 算法来进行数据分区，那么则原始分区数据可能会通过添加分区而被打乱。

添加设置

> bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --add-config x=y

修改设置

> bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --delete-config x

删除设置

> bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --delete-config x

删除设置

> bin/kafka-topics.sh --bootstrap-server broker_host:port --delete --topic my_topic_name

优雅关机

当服务器正常停止时，它会进行两项优化：

  1. 它将所有日志同步到磁盘上，以避免在重新启动时进行任何日志恢复（即，验证日志尾部所有消息的校验和）。日志恢复需要时间，因此可以加快有意重启的速度。
  2. 它将在关闭服务器之前将leader中数据迁移到其他副本。这将使leader层转移更快，并将每个分区不可用的时间减少到几毫秒。

只要服务器停止运行（不是通过强行终止），就会自动进行日志同步，受控leader迁移需要使用特殊设置

controlled.shutdown.enable=true

请注意，只有再broker所有分区都具有副本时（即复制因子大于1 并且这些副本中至少有一个处于活动状态），受控关闭才会成功

如果不正常关机会导致还在内存中为刷新到磁盘中数据丢失，以及leader中数据还没同步到所有flower中去。

所以关闭kafka服务时尽量使用命令行形式而非kill -9暴力方式

leader自动平衡

开启自动leader自动平衡策略，避免集群因中某些服务器挂掉导致副本leader集中到某些节点。auto.leader.rebalance.enable=true

在集群中镜像数据

支持多个kafka集群之间copy镜像数据( 详细参考官网)

 

查看消费者offset位置

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

查看所有消费组

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查看消费组详细信息

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

此外可添加附加参数获取更详细信息：

例如：

--members：此选项提供使用者组中所有活动成员的列表。

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group --members

CONSUMER-ID                                    HOST            CLIENT-ID       #PARTITIONS

consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1      consumer1       2

consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1      consumer4       1

consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1      consumer2       3

consumer3-ecea43e4-1f01-479f-8349-f9130b75d8ee /127.0.0.1      consumer3       0

--members --verbose：除了上述“ --members”选项报告的信息之外，此选项还提供分配给每个成员的分区。

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group --members --verbose

CONSUMER-ID                                    HOST            CLIENT-ID       #PARTITIONS     ASSIGNMENT

consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1      consumer1       2               topic1(0), topic2(0)

consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1      consumer4       1               topic3(2)

consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1      consumer2       3               topic2(1), topic3(0,1)

consumer3-ecea43e4-1f01-479f-8349-f9130b75d8ee /127.0.0.1      consumer3       0               -

--offsets：这是默认的describe选项，并提供与“ --describe”选项相同的输出。

--state：此选项提供有用的组级别信息

 --delete 删除一个或多个消费者组

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --delete --group my-group --group my-other-group
Deletion of requested consumer groups ('my-group', 'my-other-group') was successful.

--reset-offsets 重置消费者组

此选项需要定义以下范围：--all-topics或--topic，并且请确保消费者组实例处于非活动状态。

它具有3个执行选项：

  • （默认）以显示要重置的偏移量。
  • --execute：执行--reset-offsets完整过程。
  • --export：将结果导出为CSV格式。

--reset-offsets还具有以下场景可供选择（必须选择至少一个场景）：

  • --to-datetime <String：datetime>：将偏移量重置为与datetime的偏移量。格式：“ YYYY-MM-DDTHH：mm：SS.sss”
  • --to-最早：将偏移量重置为最早的偏移量。
  • --to-latest：将偏移量重置为最新偏移量。
  • --shift-by <Long：偏移数>：重置偏移量，将当前偏移量偏移为“ n”，其中“ n”可以为正或负。
  • --from-file：将偏移量重置为CSV文件中定义的值。
  • --to-current：将偏移量重置为当前偏移量。
  • --by-duration <String：duration>：将偏移量重置为从当前时间戳记的持续时间偏移量。格式：“ PnDTnHnMnS”
  • --to-offset：将偏移量重置为特定偏移量。

 

超出范围的偏移量将调整为最大偏移量。例如，如果偏移量结束为10，偏移量请求为15，则实际上将选择偏移量为10

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --group consumergroup1 --topic topic1 --to-latest
 
TOPIC                          PARTITION  NEW-OFFSET
topic1                         0          0

对于旧的版本并组元数据存储在ZooKeeper中（即offsets.storage=zookeeper），通过 --zookeeper而不是bootstrap-server

扩展集群

想要扩展kafka集群，只需要对新加入集群服务器分配唯一Id，然后启动服务器，但是kafka集群不会为这些新的自动分配任何数据分区，除非将分区移到新的服务器中，在创建新主题之前它们将不会做任何工作，通常在将计算机添加到群集时，您将需要将一些现有数据迁移到这些计算机。

分区重新分配工具可用于将某些主题从当前broker中移到新添加的brokers。这在扩展现有集群时通常很有用，因为与一次移动一个分区相比，将整个主题移至新的一组brokers更容易。用于执行此操作时，用户应提供应移至新的一组broker的主题列表和新brokers的目标列表。然后，该工具将给定主题列表中的所有分区平均分配到新的一组brokers中。在此过程中，主题的复制因子保持不变。实际上，主题输入列表的所有分区的副本都从旧的代理集移到了新添加的brokers.

例如，以下示例将主题foo1，foo2的所有分区移动到新的brokers(id为5,6)。在此步骤结束时，主题foo1和foo2的所有分区仅存在于id为brokers的5,6上。

第一步确定需要移动主题并输出为json文件。

由于该工具将主题的输入列表作为json文件，首先需要确定要移动的主题并按以下方式创建json文件：

> cat topics-to-move.json
{"topics": [{"topic": "foo1"},
            {"topic": "foo2"}],
"version":1
}

 

第二步：由集群生成生成候选分配(--generate)，由系统决定如何分配topic：

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "5,6" --generate
Current partition replica assignment
 
{"version":1,
"partitions":[{"topic":"foo1","partition":2,"replicas":[1,2]},
              {"topic":"foo1","partition":0,"replicas":[3,4]},
              {"topic":"foo2","partition":2,"replicas":[1,2]},
              {"topic":"foo2","partition":0,"replicas":[3,4]},
              {"topic":"foo1","partition":1,"replicas":[2,3]},
              {"topic":"foo2","partition":1,"replicas":[2,3]}]
}
 
Proposed partition reassignment configuration
 
{"version":1,
"partitions":[{"topic":"foo1","partition":2,"replicas":[5,6]},
              {"topic":"foo1","partition":0,"replicas":[5,6]},
              {"topic":"foo2","partition":2,"replicas":[5,6]},
              {"topic":"foo2","partition":0,"replicas":[5,6]},
              {"topic":"foo1","partition":1,"replicas":[5,6]},
              {"topic":"foo2","partition":1,"replicas":[5,6]}]
}

第三步：执行分配

该工具先生成候选分配，该分配会将所有分区从主题foo1，foo2移至新的brokers5,6中。但是此时分区移动尚未开始，它仅告诉当前分配和建议的新分配。如果您想回滚到当前分配，则应将其保存。新的赋值应保存在json文件（例如，expand-cluster-reassignment.json）中，然后使用--execute选项输入到工具中，如下所示：

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --execute
Current partition replica assignment
 
{"version":1,
"partitions":[{"topic":"foo1","partition":2,"replicas":[1,2]},
              {"topic":"foo1","partition":0,"replicas":[3,4]},
              {"topic":"foo2","partition":2,"replicas":[1,2]},
              {"topic":"foo2","partition":0,"replicas":[3,4]},
              {"topic":"foo1","partition":1,"replicas":[2,3]},
              {"topic":"foo2","partition":1,"replicas":[2,3]}]
}
 
Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions
{"version":1,
"partitions":[{"topic":"foo1","partition":2,"replicas":[5,6]},
              {"topic":"foo1","partition":0,"replicas":[5,6]},
              {"topic":"foo2","partition":2,"replicas":[5,6]},
              {"topic":"foo2","partition":0,"replicas":[5,6]},
              {"topic":"foo1","partition":1,"replicas":[5,6]},
              {"topic":"foo2","partition":1,"replicas":[5,6]}]
}

最后一步验证最终分配结果

最后用--verify选项可与该工具一起使用，以检查分区的最新重新分配的状态。应将相同的expand-cluster-reassignment.json（与--execute选项一起使用）与--verify选项一起使用：

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --verify
Status of partition reassignment:
Reassignment of partition [foo1,0] completed successfully
Reassignment of partition [foo1,1] is in progress
Reassignment of partition [foo1,2] is in progress
Reassignment of partition [foo2,0] completed successfully
Reassignment of partition [foo2,1] completed successfully
Reassignment of partition [foo2,2] completed successfully

但是如果用户已经确定知道重新分配计划，则可以跳过上诉--generate()步骤的并直接进入--execute步骤

第一步是在json文件中手工制作自定义重新分配计划：

> cat custom-reassignment.json
{"version":1,"partitions":[{"topic":"foo1","partition":0,"replicas":[5,6]},{"topic":"foo2","partition":1,"replicas":[2,3]}]}

第二步 将json文件与--execute选项一起使用以开始重新分配过程：

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file custom-reassignment.json --execute
Current partition replica assignment
 
{"version":1,
"partitions":[{"topic":"foo1","partition":0,"replicas":[1,2]},
              {"topic":"foo2","partition":1,"replicas":[3,4]}]
}
 
Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions
{"version":1,
"partitions":[{"topic":"foo1","partition":0,"replicas":[5,6]},
              {"topic":"foo2","partition":1,"replicas":[2,3]}]
}

最后一步:验证

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file custom-reassignment.json --verify
Status of partition reassignment:
Reassignment of partition [foo1,0] completed successfully
Reassignment of partition [foo2,1] completed successfully

指定topic的某个分区添加新的副本

 

增加现有分区副本很容易。只需在自定义重新分配json文件中指定额外的副本，然后将其与--execute选项一起使用即可增加指定分区的副本。

例如，以下示例将主题foo的分区0的副本数据从1增加到3。在增加副本之前，该分区的唯一副本存在于代理5上。作为增加副本的一部分，我们将在经纪人6和7创建2，3副本

第一步：新建json文件中编写自定义重新分配计划：

> cat increase-replication-factor.json
{"version":1,
"partitions":[{"topic":"foo","partition":0,"replicas":[5,6,7]}]}

第二步：将json文件与--execute选项一起使用以开始重新分配过程：

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --execute
Current partition replica assignment
 
{"version":1,
"partitions":[{"topic":"foo","partition":0,"replicas":[5]}]}
 
Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions
{"version":1,
"partitions":[{"topic":"foo","partition":0,"replicas":[5,6,7]}]}

最后一步：验证

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --verify
Status of partition reassignment:
Reassignment of partition [foo,0] completed successfully

也可以通过kafka-topics工具验证

> bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic foo --describe
Topic:foo   PartitionCount:1    ReplicationFactor:3 Configs:
  Topic: foo    Partition: 0    Leader: 5   Replicas: 5,6,7 Isr: 5,6,7

限制数据迁移期间网络带宽

 

Kafka允许对数据copy之间流量应用限制，在用于将副本在计算机之间移动的带宽上设置上限。当重新平衡群集，新增或删除broker很有用，因为它限制了这些数据密集型操作对用户的影响。

执行重新平衡时使用以下命令，它将以不超过50MB / s的速度移动分区

$ bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --execute --reassignment-json-file bigger-cluster.json —throttle 50000000

The throttle limit was set to 50000000 B/s
Successfully started reassignment of partitions.

重新修改带宽限制

$ bin/kafka-reassign-partitions.sh --zookeeper localhost:2181  --execute --reassignment-json-file bigger-cluster.json --throttle 700000000
  There is an existing assignment running.
  The throttle limit was set to 700000000 B/s

 

重新平衡完成后，可以使用--verify选项检查重新平衡的状态。如果重新平衡完成，则需要通过--verify命令删除限制否则，可能会限制常规数据迁移。

> bin/kafka-reassign-partitions.sh --zookeeper localhost:2181  --verify --reassignment-json-file bigger-cluster.json
Status of partition reassignment:
Reassignment of partition [my-topic,1] completed successfully
Reassignment of partition [mytopic,0] completed successfully
Throttle was removed.

查看各brokers宽带极限配置：

> bin/kafka-configs.sh --describe --zookeeper localhost:2181 --entity-type brokers
Configs for brokers '2' are leader.replication.throttled.rate=700000000,follower.replication.throttled.rate=700000000
Configs for brokers '1' are leader.replication.throttled.rate=700000000,follower.replication.throttled.rate=700000000

要查看集群中限制副本的topic列表：

> bin/kafka-configs.sh --describe --zookeeper localhost:2181 --entity-type topics
Configs for topic 'my-topic' are leader.replication.throttled.replicas=1:102,0:101,
    follower.replication.throttled.replicas=1:101,0:102

使用限制副本copy注意点：

1:重新分配完成后，应及时关闭限制（通过运行kafka-reassign-partitions -verify）。

2:确保限流阀值设置不能比写入各broker数据的速率小，需要根据实际情况调整此阀值

LinkedIn在使用kafka的一些基本配置

JVM配置:

-Xmx6g -Xms6g -XX:MetaspaceSize=96m -XX:+UseG1GC
-XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M
-XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80

GC使用jdk1.8的G1,使得所有broker都具有90％的GC暂停时间（约21ms），并且每秒执行的 Yong GC少于1个

  • 共60 brokers 
  • 共50k partitions (每个分区2副本)
  • 800k messages/sec in(每秒80万条消息)
  • 300 MB/sec inbound, 1 GB/sec+ outbound (入站300 MB /秒，出站1 GB /秒以上)

部署在linux系统上一些关于OS的配置优化：

  • 增大文件描述符限制 (fd):Kafka将文件描述符用于日志段和打开的连接,建议100000个fd作为起点
  • 增大最大套接字缓冲区大小:使数据在集群中心之间的实现高性能数据传输
  • 最大虚拟内存区域数（vm.max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中，每当程序尝试在内存中映射文件，链接到共享内存段，或者分配堆空间的时候，这些区域将被创建。调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错，因为当进程达到了VMA上限但又只能释放少量的内存给其他的内核进程使用时，操作系统会抛出内存不足的错误。）。一般linux系统中对于一个进程最大的vm.max_map_count的值大约为65535。当我们创建一个分区时，每个分区分配的每个日志段都需要一对索引/时间索引文件，并且每个文件占用1个映射区域的话，一个分区的创建需要占用2个映射区域数，一个分区至少需要2个内存映射区域数，也就是说当一个broker中超过了32768个分区数时，可能导致broker在默认vm.max_map_count的系统上因OutOfMemoryError（映射失败）而崩溃。

后续会介绍：springboot+kafka一些应用场景。springCloud+kafka构建消息总线(springcloud bus)

 

 

参考官网：http://kafka.apache.org/documentation/

总结：学习一个新的技术最好的方法是直接去官网去了解最新最权威知识。

 

 

深入理解 Kafka 主题分区机制
2501_90323865的博客
02-21 868
发送消息主题: example-topic-1, key: 2, value: message-2, 分区: 0。发送消息主题: example-topic-2, key: 1, value: message-1, 分区: 1。发送消息主题: example-topic-2, key: 2, value: message-2, 分区: 0。发送消息主题: example-topic-2, key: 2, value: message-2, 分区: 1。
深入理解Kafka：核心设计与实践原理读书笔记
一个有信仰的技术人
12-19 1052
kafka，消息中间件，消息队列，读书笔记
kafka体系以及它的一些重要的机制阐释
qq_38374562的博客
03-09 214
如题，在windows和linux的安装之后，我们能在自己的微服务项目的重要服务数据传输之间用上kafka此类的中间件，特别是像秒杀抢购等一些并发场景下，可以高流量削峰，现在对kafka的一些基本理论理解做下记录。 ...
【kafka】重置消费的offset
weixin_66907051的博客
12-06 1721
此命令将重置所有分区的消费者偏移量。此命令将将分区数增加到 3。此命令将将分区的副本数设置为 1、2 和 3。
Kafka 实战 - Kafka Consumer 重置 Offset
6个日的博客
05-22 2394
使用AdminClient.resetOffsets()方法，指定消费者组、偏移量规格（基于目标时间点）以及受影响的TopicPartition，执行偏移量重置操作。在开发测试过程中，可能需要消费一段时间的消息，来验证数据的可靠性，这里需要消费者（Consumer）重置其消费的偏移量（Offset）。--to-datetime: 设置重置偏移量的目标时间点。--all-topics: 重置该消费者组订阅的所有Topic的偏移量。--reset-offsets: 表示要执行偏移量重置操作。
kafka使用——基本操作（3）
mikrotik的博客
03-28 1203
文章目录管理主题创建主题自动创建手动创建查看主题查看所有主题查看特定主题信息查看正在同步的主题查看没有Leader的分区查看主题覆盖配置修改主题修改主题级别配置增加分区删除主题生产者基本操作启动生产者消费者基本操作单主题消费多主题消费单播与广播单播广播分区操作分布Leader平衡分区迁移节点下线分区迁移集群扩容数据迁移增加分区增加副本连接器基本操作独立模式分布式模式镜像操作 管理主题 创建主题 在...
Kafka 消息队列（高清版）深入理解Kafka：核心设计与实践原理.zip
05-15
通过阅读《深入理解Kafka：核心设计与实践原理》这本书，读者可以深入了解Kafka的内部工作机制，掌握如何在实际项目中有效地利用Kafka解决消息传递、数据流处理等问题，提升系统的可靠性和性能。
深入理解Kafka实战应用
最新发布
04-24
应用篇深入讲解了如何设计Kafka项目、生产者和消费者的数据处理、代理的管理、主题和分区的配置以及Kafka存储机制；深入篇则探讨了Kafka的安全保护、Schema注册中心以及使用Kafka Streams和ksqlDB进行流处理。本书...
精选资源
深入理解kafka，可以作为公司分享kafka的ppt
12-01
Kafka是一种高吞吐量的...通过对Kafka基础架构、原理过程、运行流程和核心参数等方面的深入了解，可以构建起对Kafka全面的认识。这将有助于在实际开发中更好地运用Kafka，解决实时数据处理和流式处理中遇到的问题。
KafkaConsumer重置Offset
weixin_43046724的博客
02-26 3821
在Kafka Version为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。在命令行中可以使用kafka-consumer-groups的脚本实现Offset的相关操作。 更新Offset的三个维度： Topic的作用域 重置策略 执行方案 Topic的作用域 --all-topics：为consumer group下所有topic的所有分区调整位移） --topic t1 --topic t2：为指定的若干个to
kafka基本操作
qq_41163645的博客
11-11 2053
kafka基本操作
Kafka极客 - 15 重设消费者位移 Offset
你今天真好看呀
12-14 4606
反之，如果你的场景需要较高的吞吐量，但每条消息的处理时间很短，同时你又很在意消息的顺序，此时，Kafka 就是你的首选。有时候你可能会碰到这样的场景：你修改了消费者程序代码，并重启了消费者，结果发现代码有问题，你需要回滚之前的代码变更，同时也要把位移重设到消费者重启时的位置，那么，Current 策略就可以帮你实现这个功能。我们来看下它们的方法签名。我们知道，Kafka 和传统的消息引擎在设计上是有很大区别的，其中一个比较显著的区别就是，Kafka 的消费者读取消息是可以重演的（replayable）。
系统运维系列 之Kafka手动设置offset（经典方法总结）
热门推荐
langxiaolin的博客
10-25 1万+
1 问题背景 在使用Kafka消费数据过程中，消费程序可能出现运行问题，导致消费不及时，消息堆积很多；尤其是消息消费后需要进行一列后处理，这种情况下就需要考虑一些方法来进行消费参数的设置。 2 举例 测试集群中有3台服务器，分别设置为Kafka的3个分区，分别为分区1，分区2和分区3，由于消费者出现运行问题，导致无法消费数据或者仅消费1到2个分区的数据，这时候分区中堆积的数据很多，达到百万级别甚至千万级别，由于消息消费后需要进行后续处理，按照正常速度消费需要较长时间才可以消费完这些堆积数据，且消费过程中会影
Kafka操作指令笔记
二狗子的博客
12-24 865
重置消费组消费指定topic进度。
kafka reset offset 手工重置offset
weixin_34117211的博客
10-16 6404
1、场景 a）有时消费端逻辑修改，需要重复消费数据，需要将offset设置到指定位置。   2、实现 kafka版本：0.11.* KIP-122: Add Reset Consumer Group Offsets tooling 样例： ./kafka-consumer-groups.sh --bootstrap-server ip:9092 --group groupName -...
Kafka学习笔记（九）kakfa消费位移
haogenmin的博客
11-04 1050
版权声明：本文为转载文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.youkuaiyun.com/weixin_39468305/article/details/106799061 摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失,我们也希望能自由控制消费位置。而位移就是控制消费进度的大佬。本文聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关..
查询kafka信息，并设置Kafka的偏移量Offset
熊浪的博客
01-10 4708
查询某个kafka的消费者信息 ./kafka-consumer-groups.sh --bootstrap-server 10.0.0.198:9092 --list 查询某个topic的分区情况 ./kafka-topics.sh --zookeeper 10.0.0.198:2181 --topic alikafka-topic_can_information_statistic...
Kafka指令重置偏移量
baidu_27503999的博客
02-03 1808
kafka 重置偏移量
深入解析Kafka文件存储机制
在深入探讨Kafka的文件存储机制之前，我们首先理解Kafka的基本概念。Kafka是由LinkedIn开发的分布式流处理平台，后来成为了Apache的顶级项目。它是一个高吞吐量、低延迟的消息系统，常用于实时数据管道和流处理。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值