kafka基本用法

zookeeper占用8080端口解决 zookeeper 3.5.5启动默认会把AdminService服务启动,这个服务默认是8080端口,是一个通过jetty启动的管理控制台,一般不会用到,网上的复制粘贴就是来自同一个办法如下: 方法一、删除jetty 方法二、修改端口。 修改方法的方法有两种: 在启动脚本中增加 -Dzookeeper.admin.serverPort=你的端口号. -Dzookeeper.admin.serverPort=你的端口号 在zoo.cfg中增加admin.serverPort=没有被占用的端口号 a 阅读详情

 命令

# 创建topic
 kafka-topics.sh --create --topic orders --zookeeper dream1:2181,dream2:2181,dream3:2181 --partitions 3 --replication-factor 2

# 创建topic生产者-producer
kafka-console-producer.sh --broker-list dream1:9092,dream2:9092,dream3:9092 --topic order

# 创建topic消费者-consumer
kafka-console-consumer.sh --bootstrap-server dream1:9092,dream2:9092,dream3:9092 --topic flink-kafka

# 描述topic
kafka-topics.sh --zookeeper dream1:2181 --describe --topic orders 

# 查看所有的topic
kafka-topics.sh --zookeeper dream1:2181,dream2:2181 --list

查看offset

kafka基本概念以及用法 kafka是一个分布式流处理工具,被全球大量公司广泛应用在大数据处理领域。 阅读详情

相关推荐

UnrecognizedOptionException: zookeeper is not a recognized option - 解决方案

如果你使用的是一个支持选项定义的参数解析库,确保你在代码中正确地定义了选项。检查选项定义中的名称、标记和其他属性,以确保与你的代码中的使用一致。"UnrecognizedOptionException: zookeeper is not a recognized option"异常表示你的代码中使用了一个未被识别的选项。在解决这个问题时,你应该检查选项名称、选项定义、参数顺序和库版本等方面。通过仔细检查代码并确保选项的正确使用,你应该能够解决这个异常。

DevScribe的博客 4517

Kafka报错:Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recogn

错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要依赖zookeeper来创建/查看topic,新版本使用--bootstrap-server替换老版本的--zookeeper-server,即可解决。

血煞长虹 的专栏 2万+

Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized opt

使用 `kafka-topics.sh --zookeeper hadoop102:2181 --list` 查看Kafka中的主题时出现 `Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized opt` 。

优快云 精品推荐 926

kafka命令基本用法

kafka 命令基本用法(0.8.1.x版本) 脚本列表 启动kafka的Server节点 使用bin/kafka-server-start.sh config/server.properties 新建的topic bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –par

ZS的博客 383

如何利用 AsyncAPI 和 Kafka 来提升事件驱动架构下的云端应用数据集成能力,并通过案例学习到 AsyncAPI 的基本用法和如何将其集成到 Kafka 中

在事件驱动架构模式中,消息传递是整个系统的一个基石。很多公司都在推进基于事件驱动架构的云平台,因为它可以有效地解耦并加快应用开发的速度,缩短响应时间,提升弹性。然而,随着云服务的不断发展,如何将事件流转化为业务数据并进行后续的分析处理,一直成为一个重要的难题。一方面,传统的事件流转化方法依赖于复杂的、手动的 ETL(extract-transform-load)过程,这对于企业而言,成本高且耗时长;另一方面,事件流转化还存在着数据完整性、准确性、时效性等问题。

AI天才研究院 2318

洛谷 P5736 【深基7.例2】质数筛

题目描述 输入 n(n\le100)n(n≤100) 个不大于 100000 的整数。要求全部储存在数组中,去除掉不是质数的数字,依次输出剩余的质数。 输入格式 无 输出格式 无 输入输出样例 输入 #1 复制 5 3 4 5 6 7 输出 #1 复制 3 5 7 板子题,使用一下线性筛 #include <iostream> #include <cstdio> #include <cstring> #include <algorithm> using n

qq_37978559的博客 1117

kafka的安装以及基本用法

kafka的安装 kafka依赖于ZooKeeper,所以在运行kafka之前需要先部署ZooKeeper集群,ZooKeeper集群部署方式分为两种,一种是单独部署(推荐),另外一种是使用kafka自带的。 这里我们默认已经部署好了ZooKeeper集群 下载kafka(3台服务器) cd /usr/local/src wget http://apache.openc...

weixin_34327223的博客 99

MFC使用Websocket通讯介绍和实例(附完整源码)

踩坑点,下载了好几个boost版本编译,经常出问题,后来搜索了好久资料才发现如下评论:WebSocket++0.8.2 has been tested through Boost 1.72。WebSocketpp依赖于boost,因此在使用WebSocketpp前需要编译Boost;所以我们直接下载Boost 1.72的windows版的进行安装,安装完成还需要编译;WebSocketpp也叫WebSocket++;服务编译好之后,使用。

weixin_42530684的博客 1171

Kafka的基本概念,基本用法及常见使用场景

Kafka 已从“消息队列”演进为完整的事件流平台解耦:生产者与消费者完全独立缓冲:应对流量洪峰,防止下游系统崩溃重放:支持数据重新消费,便于调试和修复扩展:轻松应对数据量增长🚀学习建议从日志收集或微服务事件总线场景入手,结合 Kafka + Flink/Spark 构建端到端实时管道,是掌握 Kafka 的最佳实践路径。

weixin_50659451的博客 417

AD5700 HART芯片实战笔记:从时钟检测到数据收发,一个STM32工程师的踩坑实录

本文详细记录了STM32工程师在AD5700 HART芯片开发中的实战经验,涵盖时钟信号检测、RTS切换时序优化及HART数据解析等关键问题。通过硬件设计检查、定时器配置优化和大小端转换方案对比,解决了工业级芯片开发中的典型挑战,为嵌入式开发者提供宝贵参考。

weixin_42715608的博客 164

[RK3588从入门到精通] 专栏目录及介绍

[RK3588从入门到精通] 专栏目录及介绍

nb124667390的博客 6502

Kafka的基本原理和简单用法

未写完,待更 一.简介 Kafka 是一个实现了分布式、分区、提交后复制的日志服务。它通过一套独特的设计提供了消息系统中间件的功能。 二.快速入门 三.kafka术语 消息 消息是kafka中最基本的数据单元。消息由一串字节构成,其中主要由key和value构成,key和value也都是byte数组。key的主要作用是根据一定的策略,将消息路由到指定的分区中,这样就可以保证包含同一key的消息全部写入到同一个分区中,key可以是null。为了提高网络的存储和利用率,生产者会批量发送消息到kafka,并.

qq_40313857的博客 589

lattice Diamond Programmer程序下载

Lattice Diamond Programmer(支持Lattice FPGA与CPLD程序下载)

qq_44385725的博客 5188

Docker中安装Kafka以及基本配置和用法、踩坑记录

本文介绍了如何将Apache Kafka集成到现有Docker环境中,构建统一的消息队列服务。Kafka作为分布式消息中间件,能够解决高并发场景下的订单处理、日志收集、微服务通信等问题。文章详细讲解了Kafka的核心概念(生产者、消费者、主题、分区等),并提供了Docker Compose配置方案,使用wurstmeister/kafka镜像与Zookeeper协同部署。通过将Kafka服务添加到现有项目,可实现一键启动、网络互通和数据集中管理,便于开发测试环境的统一维护。

码农兴哥的技术笔记 681

Flowable前端可视化配置动态审批人:告别硬编码,实现部门领导、项目经理自动分配

本文详细介绍了Flowable前端可视化配置动态审批人的全栈解决方案,通过表达式分配、监听器分配等动态审批人机制,实现从硬编码到智能分配的转变。文章提供了前端扩展bpmn-js设计器、后端动态解析实现方案及性能优化建议,帮助企业应对组织架构变动,提升审批流程的灵活性和效率。

weixin_30352645的博客 473

Microsemi Libero使用技巧11——CoreUARTAPB RX管脚分配时不显示

调用串口IP核CoreUARTAPB,并例化到顶层设计,发现UART_RX管脚在进行管脚分配时没有显示出来,最后发现是CoreAPB3总线IP核配置不对导致,改为如下配置后正常。

whik1194的博客 758

一张图说明spring-kafka的基本用法

文章链接: http://www.shixinke.com/java/spring-kafka-api-usage

shuyuan0513的博客 237

图神经网络实战(21)——图神经网络的可解释性

在本节中,我们探讨了应用于图神经网络 (Graph Neural Networks, GNN) 的可解释性人工智能 (Explainable Artificial Intelligence, XAI) 技术。可解释性是许多领域的关键要素,可以帮助我们建立更好的模型。我们介绍了不同的局部解释技术,并重点讨论了 GNNExplainer (基于扰动的方法),在图分类任务中应用 GNNExplainer。

盼小辉丶的博客 9577

Kafka 零基础入门(最基本用法)

Producer 发消息↓Topic 存消息↓Consumer 读消息你现在:发收别一开始:PartitionOffset副本机制容易直接崩。

lihaoweiwudi_的博客 419

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

【弄nèng - Kafka】应用篇(一) —— Springboot整合Kafka(基本用法)

文章目录一. 简介二. HELLO WORLD2.1 引入依赖2.2 Kafka配置2.2.1 生产者2.2.2 消费者2.2.3 测试项目推荐 该篇博客实现最基本的Springboot整合kafka 发送消费消息 更多高级用法请看下篇博客 一. 简介 kafka概念相关的介绍请看官方文档和其他博文 官方中文文档 kafka入门介绍 二. HELLO WORLD 2.1 引入依赖 主要是spr...

司马缸砸缸了 476

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Kafka运维实战 09 - kafka 生产消息和消费消息用法【实战】

是 Kafka 提供的一个命令行工具,用于向 Kafka 主题发送消息(即生产消息)。它允许你在终端中手动输入消息,或从文件、其他命令的输出中读取消息并发送到 Kafka。以下是使用 的基本命令格式: 常用参数说明 : 指定 Kafka broker 的地址(例如 ),用于建立初始连接。 : 指定要发送消息的主题名称。 : 设置额外的生产者配置,例如: : 启用键值对模式(需要配合 使用)。 : 指定键和值之间的分隔符(默认为制表符 )。 : 指定生产者配置文件的路径。 用于控制生产者发送消

cuiwin的专栏 1254

Kafka-Go学习

是 Go 语言中用于与 Kafka 进行通信的一个简洁高效的库,提供了生产者、消费者、分区管理、偏移量管理等完整的功能。它的 API 设计简单易用,同时具有较高的性能和扩展性,适合在 Go 应用中集成 Kafka 消息队列。是 Go 语言中一个轻量级、高效的 Kafka 客户端库,提供了简单易用的 API 来与 Apache Kafka 进行交互。支持 Kafka 的生产者和消费者功能,适用于 Go 应用程序中使用 Kafka 进行消息队列的实现。生产者的作用是向 Kafka 的主题中发送消息。

GitHub个人仓库地址:https://github.com/feiyuluoye ; 个人塔罗牌占卜平台:http://118.126.82.12:8080/ ; 欢迎广大Coding友共同交流讨论。 1533

Kafka小白:从下载到运行简单示例

本文针对小白快速入门,不涉及过多Kafka概念,只讲解如何实操(不详细解释代码)。只要按照步骤进行,就能运行Kafka。提供的简单示例使用Kafka默认配置文件,不需要修改配置文件,过程十分简单。读者可以自行学习使用自己的配置,如配置集群等。演示操作系统:ubuntu(centos操作类似)前置环境:JDK17+

m0_72332208的博客 1300
上一篇:  Kafak --- Consume
下一篇: Kafka-consumer
JNWsong
博客等级 码龄9年 287粉丝 204原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值