09-Kafka应用

最新推荐文章于 2023-09-27 16:03:19 发布
原创 最新推荐文章于 2023-09-27 16:03:19 发布 · 714 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章目录

Kafka应用

  • 关于Kafka的应用类工具

Kafka系列文章是基于：深入理解Kafka：核心设计与实践原理一书，结合自己的部分实践和总结。

一、命令行工具

脚本名称作用
kafka-consumer-groups.sh消费者组信息管理
kafka-delete-records.sh消息删除功能

1.1 消费组管理

  • 展示消费者分组：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
bash-4.4# ./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --list
Note: This will not show information about old Zookeeper-based consumers.
anonymous.0b68eb1e-bebf-401b-8bbc-081200680ea3
groupID
anonymous.3e8a0f81-5742-4584-be2b-00ee3ec36ba3
ifaas-engine
kafka-group
ifaas-collection
ifaas-target
anonymous.3c0c3b13-9d41-4d8e-931a-e15f80a5aa27
ifaas-data
send-pg
anonymous.e94c8a4f-121d-4470-9e6b-65f9f1fdbbb3
  • 展示特定的消费者分组信息:./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group ifaas-data
bash-4.4# ./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --describe --group ifaas-data
Note: This will not show information about old Zookeeper-based consumers.

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                      HOST            CLIENT-ID
engine-alarm    0          0               0               0               consumer-6-10bfc412-bdb2-454d-bcf9-438c0b40ea12  /192.168.89.193 consumer-6
ifaas-target    0          439706          439706          0               consumer-10-b84ab303-799e-4e6f-9457-c78bc234ac88 /192.168.89.193 consumer-10
all-user-record 0          588             588             0               consumer-8-43146cd4-3f90-4486-9277-b683691bacc1  /192.168.89.193 consumer-8
engine-image    0          0               0               0               consumer-2-f424478d-fc03-427c-b58b-f42fbdc382c7  /192.168.89.193 consumer-2
engine-face     0          0               0               0               consumer-4-ca15bc03-3a8c-4258-a299-069b55cecaa4  /192.168.89.193 consumer-4
ifaas-image     0          389082          389082          0               consumer-12-ba173a0a-9db4-4454-9678-8c152c36c19c /192.168.89.193 consumer-12

TOPIC：主题名称
PARTITION:分区编号
CURRENT-OFFSET：消费者组最新提交的消费位移
LOG-END-OFFSET：HW，即高水位，是消费者可见的最大offset
LAG：消息滞后数量，LOG-END-OFFSET和CURRENT-OFFSET的差值
CONSUMER-ID：消费者组的成员id
HOST：消费者的host信息
CLIENT-ID：消费者客户端的client.id
  • 展示特定的消费者分组的状态:./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group ifaas-data --state
bash-4.4# ./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --describe --group ifaas-data --state
Note: This will not show information about old Zookeeper-based consumers.

COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
192.168.89.193:9092 (1)   range                     Stable               6

Stable是正常情况的状态，其他状态值有：Dead、Empty(组内没有消费者)、PreparingRebalance和CompletingRebalance
  • 罗列消费者组内成员信息：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group ifaas-data --members
bash-4.4# ./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --describe --group ifaas-data --members
Note: This will not show information about old Zookeeper-based consumers.

CONSUMER-ID                                      HOST            CLIENT-ID       #PARTITIONS     
consumer-6-10bfc412-bdb2-454d-bcf9-438c0b40ea12  /192.168.89.193 consumer-6      1               
consumer-10-b84ab303-799e-4e6f-9457-c78bc234ac88 /192.168.89.193 consumer-10     1               
consumer-8-43146cd4-3f90-4486-9277-b683691bacc1  /192.168.89.193 consumer-8      1               
consumer-2-f424478d-fc03-427c-b58b-f42fbdc382c7  /192.168.89.193 consumer-2      1               
consumer-4-ca15bc03-3a8c-4258-a299-069b55cecaa4  /192.168.89.193 consumer-4      1               
consumer-12-ba173a0a-9db4-4454-9678-8c152c36c19c /192.168.89.193 consumer-12     1
  • 罗列消费者组内成员信息,并且展示成员的分区分配情况：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group ifaas-data --members --verbose
bash-4.4# ./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --describe --group ifaas-data --members --verbose
Note: This will not show information about old Zookeeper-based consumers.

CONSUMER-ID                                      HOST            CLIENT-ID       #PARTITIONS     ASSIGNMENT
consumer-6-10bfc412-bdb2-454d-bcf9-438c0b40ea12  /192.168.89.193 consumer-6      1               engine-alarm(0)
consumer-10-b84ab303-799e-4e6f-9457-c78bc234ac88 /192.168.89.193 consumer-10     1               ifaas-target(0)
consumer-8-43146cd4-3f90-4486-9277-b683691bacc1  /192.168.89.193 consumer-8      1               all-user-record(0)
consumer-2-f424478d-fc03-427c-b58b-f42fbdc382c7  /192.168.89.193 consumer-2      1               engine-image(0)
consumer-4-ca15bc03-3a8c-4258-a299-069b55cecaa4  /192.168.89.193 consumer-4      1               engine-face(0)
consumer-12-ba173a0a-9db4-4454-9678-8c152c36c19c /192.168.89.193 consumer-12     1               ifaas-image(0)
  • 删除消费者分组，不过组内有消费者正常工作时，删除操作会失败。
./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --delete --group ifaas-data

1.2 消费偏移管理

  • kafka-consumer-groups.sh可以重置消费者分组的offset为0，不过需要在分组内没有运行的消费者成员时执行才能有效。
//全部主题重置为最小offset
./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --group ifaas-data  --all-topics --reset-offsets --to-earliest --execute
//指定主题分区重置为最大offset
./kafka-consumer-groups.sh --bootstrap-server  localhost:9092 --group ifaas-data  --topics  topicName:1  --reset-offsets --to-latest --execute
  • 除了最早最晚，还能支持更细粒度的偏移量重置，比如调整到距离当前时间指定时间间隔处或者指定offset处

在这里插入图片描述

  • 另外kafka-consumer-groups.sh还支持将某些位移调整方案打印出来但是不支持(不使用–execute，使用dry-run/export)，可用阅读参考文章[1]的9.1.2小节。

1.3 手动删除消息

  • kafka-delete-records.sh提供消息删除相关功能

  • 删除方式：./kafka-delete-records.sh --bootstrap-server localhost:9092 --offset-json-file delete.json

./kafka-delete-records.sh --bootstrap-server  localhost:9092 --offset-json-file delete.json

//delete.json ;表示将topic-1的0号分区offset为10,1号分区offset为100的消息删除掉，当删除动作最终完成后，分区0的logStartOffset被置为10，分区1的logStartOffset被置为100
{
  "partitions": [
    {
      "topic": "topic-1",
      "partition": 0,
      "offset": 10
    },
    {
      "topic": "topic-1",
      "partition": 1,
      "offset": 100
    }
  ],
  "version": 1
}

二、其他

2.1 Kafka Connect

  • 可以将数据从Kafka中导入或者导出。
2.1.1 Connector

  • Kafka Connect中有两个核心概念：Source和Sink，前者将数据导入Kafka，后者从Kafka导出数据，二者都被称为Connector。
    在这里插入图片描述

  • Kafka Connect特性

1.通用性；规范化其他数据与kafka的集成
2.支持独立模式和分布式模式
3.提供REST接口
4.自动位移管理
5.流式计算和批处理集成。
2.1.2 两种模式
  • 独立模式
connect-standalone.sh用于独立模式运行Kafka Connect，适合于测试和功能验证场景，无法利用负载均衡和高容错的特性。
  • 分布式模式
connect-distributed.sh用于分布式模式运行Kafka Connect，可以结合Kafka的负载均衡和故障转移功能。
2.1.3 REST API
  • Kafka提供看REST风格的API来管理Kafka Connect，默认端口8083，比如接口：GET / 用于查看Kafka集群版本信息，更多接口信息可以阅读参考文章[1]的9.2.2小结。

2.2 Kafka Mirror Maker

  • 用于在2个kafka集群直接同步数据的工具，其原理是从源集群中消费数据并将消息写入目标集群，可以实现准实时的数据同步。

2.3 Kafka Stream

  • Kafka Stream是一个用于处理和分析数据的客户端库，它对存储在kafka中的数据进行分析和处理并将结果写回kafka或者发送到外部系统。该库可以和应用程序相结合
  • Kafka Stream特性
    在这里插入图片描述

三、小结

  • 关于Kafka的一些应用简介

四、参考

使用kafka-consumer-groups.sh管理消费者组
CvhShell的博客
09-21 469
消费者组管理是Kafka的一个重要方面，它允许您监控和管理消费者组的健康状况、消费进度以及重平衡等操作。kafka-consumer-groups.sh是Kafka提供的一个命令行工具，用于执行与消费者组相关的管理任务。您可以列出活动的消费者组、查看消费者组的偏移量信息、重置消费者组的偏移量以及删除消费者组。我们将涵盖一些常见的用例，包括列出消费者组、查看消费者组偏移量、重置消费者组偏移量以及删除消费者组。执行此命令后，您将获得有关消费者组的偏移量、消费者状态和分区分配的详细信息。
Kafka API (Producer and Consumer)
沐雨金鳞
07-15 343
Producer API ：消息发送 Kafka的Producer发送消息采用的是异步发送的方式。 在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。 main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。 相关参数： batch.size：只有数据积累到batch.size...
kafka_09_幂等idempotence
zxczb的博客
08-09 300
kafka的idempotence #mermaid-svg-l3ha4NcSSg88MEvH .label { font-family: 'trebuchet ms', verdana, arial; font-family: var(--mermaid-font-family); fill: #333; color: #333; } #mermaid-svg-l3ha4NcSSg88MEvH .label text { fill: #333; } #mermaid-svg
【kafka】常用命令汇总
石臻臻的杂货铺(szzdzhp001)
11-19 659
目录查询1.查看所有或者指定Topic的信息2.列出所有Topic3.新消费者列表查询4.显示某个消费组的消费详情（0.10.1.0版本+）TODO 查询 1.查看所有或者指定Topic的信息 查看Topic的分区情况 副本情况和 配置情况 ## 所有 bin/kafka-topics.sh --describe --zookeeper xxxx ##指定 bin/kafka-topics.sh --describe --zookeeper xxxx --topic TOPIC名称 输出 [roo
kafka Java客户端之Connect API
小灰狼与大白兔的博客
02-12 7432
kafka Connect 简单介绍 Kafka Connect 是一个可扩展、可靠的在Kafka和其他系统之间流传输的数据工具。它可以通过connectors（连接器）简单、快速的将大集合数据导入和导出kafka。Kafka Connect可以接收整个数据库或收集来自所有的应用程序的消息到Kafka Topic。使这些数据可用于低延迟流处理。导出可以把topic的数据发送到secondary storage（辅助存储也叫二级存储）也可以发送到查询系统或批处理系统做离线分析。 Connect API实现一个
kafka-consumer-groups.sh 命令行工具使用手册，附测试用例
serene的博客
11-12 4018
kafka-consumer-groups 命令行工具使用手册，Kafka管理必备
ranger-2.1.0-kafka-plugin.tar.gz
08-09
1. **权限管理**：Ranger 允许管理员定义精细的访问控制策略，如读、写和操作权限，这些策略可以应用到 Kafka 的主题（topics）和消费者组（consumer groups）。用户或用户组可以根据这些策略被授权访问特定资源。 ...
pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0
12-04
当然，实际的应用可能涉及到更复杂的转换和操作，如窗口、聚合或者自定义函数。 总的来说，`flink-connector-kafka_2.12-1.11.0.jar`是Flink连接到Kafka的关键组件，它允许在Python环境中构建处理Kafka数据流的...
springboot-kafka:springboot-kafka
03-13
描述中的内容简洁，只提到了"springboot-kafka"两次，没有提供额外的具体信息，但我们可以根据标题推断，这个项目或教程可能涉及如何在Spring Boot应用中设置、配置和使用Kafka。 标签 "Java" 明确了这个项目是使用...
pentaho-kafka-producer.zip
03-16
Kafka是一个分布式流处理平台，广泛应用于实时数据管道和流应用中。通过这个插件，Kettle能够与Kafka无缝集成，将ETL（抽取、转换、加载）过程中的数据实时推送到Kafka主题，进一步进行处理或存储。 在安装Pentaho ...
apache-atlas-2.2.0-kafka-hook.tar.gz
04-06
5. **启动服务**：重启 Apache Atlas 服务以应用新的配置，Kafka Hook 将开始监听和处理元数据事件。 通过 Apache Atlas 2.2.0 的 Kafka Hook，企业可以实现实时的数据治理，提高数据质量，确保数据的准确性和一致...
kafka 查看消费者组
热门推荐
鸭梨的博客
01-03 3万+
用kafka-consumer-groups.sh 命令可以查看消费者组,其中console-consumer-89657是消费的时候如果不设置消费者组自动生成的默认组 [root@mypc01 config]# kafka-consumer-groups.sh \ > --new-consumer \ > --bootstrap-server mypc01:9092,mypc02:9092,mypc03:9092 \ > --list The [new-consumer] option
kafka-consumer-groups.sh消费者组管理
weixin_44852067的博客
09-27 2341
拿到所有在线Broker列表 再给每个Broker发送。请求获取 消费者组数据。
Kafka——管理Kafka(命令行工具)详解
吴声子夜歌的博客
08-09 6351
有时候，我们需要知道提交的消费者群组偏移量是多少，比如某个特定的群组是否在提交 偏移量，或者偏移量提交的频度。也就是说，如果集群里有 5 个 broker，生产者的配额是 10MB/s，那么它可以以 10MB/s 的速率在单个 broker 上生成 数据，总共的速率可以达到 50MB/s。根 据分区大小的不同，复制过程可能需要花一些时间，因为数据是通过网络复制到新副本上 的。也就是说，在没有认证的情况下也可以使用这些命令行工具，在没 有安全检查和审计的情况下也可以执行诸如主题变更之类的操作。
Kafka Connect使用教程
数智技术
11-02 1万+
Kafka Connect介绍
kafka运维常用命令
会哭的雨@的博客
08-13 323
kafka运维常用命令 列出所有的topic ./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list 查看 topic信息 ./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic topicName ./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic __consumer_offse
kafka shell脚本用法详解
I_No_dream的博客
03-31 1420
注：使用kafka脚本时，想要查看help直接执行脚本即可，参数说明都挺详细的，以及像topic能配置的参数也全都有 1. kafka-shell bin目录下，windows的.bat和.sh使用方法相同 脚本名称 用途描述 connect-distributed.sh 连接kafka集群模式 connect-standalone.sh 连接kafka单机模式 kafka-acls.sh todo kafka-broker-api-versions.sh todo kafk
Kafka常用命令
nsa65223的专栏
05-16 3585
LAG： LOG-END-OFFSET减去CURRENT-OFFSET的值，表示积压量。--to-latest： 设置到最新处，也就是主题分区HW的位置。--to-earliest： 设置到最早位移处，也就是0。--shift-by NUM： 基于当前位移向前回退多少。--to-offset NUM： 指定具体的位移位置。--by-duration： 回退到多长时间。LOG-END-OFFSET： 分区最新位移。查看所有消费组详情--all-groups。查询消费者成员信息--members。
kafka基本知识概述
程序员一博
06-26 736
消息中间件，通过消息的发送和消息的接收分离实现应用程序的解耦，但是这个是MQ的效果并非目的，真正的目的是为了通讯，屏蔽底层复杂的通讯协议，定义一套更加简单的通讯，一个分布式系统中两个模块之间通讯要么是HTTP，要么是自己开发的（rpc） TCP，但是这两种协议其实都是原始的协议。HTTP 协议很难实现两端通讯——模块 A 可以调用 B，B 也可以主动调用 A，如果要做到这个两端都要背上WebServer，而且还不支持⻓连接（HTTP 2.0 的库根本找不到）。
python-kafka confluent-kafka 比较
最新发布
07-19
在比较 `python-kafka` 和 `confluent-kafka` 这两个 Python 客户端库时，可以从功能、性能、易用性和生态系统支持等多个维度进行分析。 ### 功能支持 `python-kafka` 是一个纯 Python 实现的 Kafka 客户端，支持 Kafka 的基本功能，包括生产者（Producer）、消费者（Consumer）和管理操作（如 topic 创建和删除）[^1]。它与 Kafka 的 Java 客户端相比功能较为基础，但在某些场景下已经足够使用。 `confluent-kafka` 则是基于 C 语言实现的 Kafka 客户端库（librdkafka），提供了 Python 的绑定。它不仅支持 Kafka 的核心功能，还集成了 Confluent 提供的许多高级特性，如 Schema Registry 支持、Kafka Connect 集成以及 Kafka Streams 的流处理能力。 ### 性能 由于 `confluent-kafka` 是基于 C 语言实现的 librdkafka，其性能通常优于 `python-kafka`。特别是在高吞吐量和低延迟的场景下，`confluent-kafka` 表现出更高的效率和更低的资源消耗。而 `python-kafka` 作为纯 Python 实现，在性能上相对较弱，尤其是在处理大量消息时可能会出现瓶颈。 ### 易用性 `python-kafka` 的 API 设计较为简单，适合快速上手和使用。对于只需要基本 Kafka 功能的应用来说，`python-kafka` 提供了足够的灵活性和易用性。 相比之下，`confluent-kafka` 的 API 更加复杂，但同时也提供了更多的配置选项和高级功能。虽然学习曲线较陡，但对于需要高性能和复杂功能的应用来说，`confluent-kafka` 是更好的选择。 ### 生态系统支持 `confluent-kafka` 与 Confluent 平台紧密集成，支持 Schema Registry、Kafka Connect 和 Kafka Streams 等高级功能。这些工具可以帮助开发者更好地管理和处理 Kafka 中的数据流。此外，Confluent 还提供了丰富的文档和技术支持，使得 `confluent-kafka` 在企业级应用中更具优势。 `python-kafka` 虽然也有一定的社区支持，但在生态系统方面不如 `confluent-kafka` 强大。它更适合于那些只需要 Kafka 基本功能的小型项目或原型开发。 ### 示例代码 以下是一个简单的生产者示例，展示如何使用 `python-kafka` 发送消息： ```python from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers='localhost:9092') producer.send('my-topic', b'Hello, Kafka!') producer.flush() producer.close() ``` 而 `confluent-kafka` 的生产者示例如下： ```python from confluent_kafka import Producer conf = {'bootstrap.servers': 'localhost:9092'} producer = Producer(conf) producer.produce('my-topic', key='key', value='Hello, Confluent Kafka!') producer.flush() producer.close() ``` ### 总结 - **功能**：`confluent-kafka` 提供了更丰富的功能和集成支持。 - **性能**：`confluent-kafka` 在性能上明显优于 `python-kafka`。 - **易用性**：`python-kafka` 更加简单易用，适合快速开发。 - **生态系统**：`confluent-kafka` 与 Confluent 平台集成，生态系统更强大。 根据具体需求和应用场景，可以选择合适的 Kafka Python 客户端库。如果需要高性能和高级功能，推荐使用 `confluent-kafka`；如果只需要基本功能且希望快速上手，则可以考虑 `python-kafka`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值