Kafka 使用命令

最新推荐文章于 2025-01-23 21:32:30 发布
最新推荐文章于 2025-01-23 21:32:30 发布
阅读量487 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/UnionIBM/article/details/52538003

1.创建topic

bin/kafka-topics.sh --create --zookeeperlocalhost:2181 --replication-factor 1 --partitions 1 --topic test

2.查看topic

(1)bin/kafka-topics.sh --list --zookeeperlocalhost:2181

(2)./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test (查看topic为test 的信息分区，复制等)

.

leader：负责处理消息的读和写，leader是从所有节点中随机选择的.
replicas：列出了所有的副本节点，不管节点是否在服务中.
isr：是正在服务中的节点.


3.向topic 发送数据

 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 


4.查看consumer的信息

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning


5.后台启动Kafka

 nohup bin/kafka-server-start.sh config/server.properties &


6.查看消费组
./kafka-consumer-groups.sh  --list --zookeeper localhost:2181


7.查看topic的最小和最大offset
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 -topic topic --time -2(最小)
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 -topic topic --time -1(最大)













                

        

    

    
  



    

      

        

            

              
                
                  bigdataCoding
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
使用Kettle抽取Kafka消息并插入数据库

				
			

			

				

					m0_47187076的博客
				

				

					04-09
					
					8807
					
				

			

		

		

			
				
1、前提条件
需部署kafka、安装Kettle、准备一个json文件
2、通过Kafka Producer上传数据
首先新建一个转换

创建JSON input 点击浏览文件 再点击增加到选中的文件

选择字段页签，点击select fields获取需要转换的字段

在Streaming中找到的Kafka producer
在Bootstrap server中输入Kafka的ip+端口
Topic必填（已经创建好了）
Message field必填（和json input字段对应）

创建好连接json 

			
		

	



                

            
              



	

		

			

				
					
Kafka常用命令

				
			

			

				

					金州饿霸吃不饱的博客
				

				

					01-13
					
					860
					
				

			

		

		

			
				
注意：因为此kafka是加了认证的，必须先读取认证文件里的密码才能查看topics, 如下是认证文件的代码：--command-config ./config/scram_common.properties。该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（的 Topic 中生产消息。

			
		

	



              


  
              

                


	

		

			

				
					
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）

				
			

			

				

					tiantang2renjian的博客
				

				

					05-09
					
					3367
					
				

			

		

		

			
				
Kettle采集Kafka数据到HDFS

			
		

	





	

		

			

				
					
kafka使用记录

				
			

			

				

					急速虫子
				

				

					05-30
					
					785
					
				

			

		

		

			
				
《kafka权威指南》使用场景1、活动跟踪    前端应用与用户的交互记录，pv、uv、点击量等2、传递消息    用来实现消息通知功能3、度量指标和日志记录    系统日志以及度量指标的收集4、提交日志    作为分布式系统的日志缓冲区，方便日志收集处理5、流处理    用哦过户可以飙血消息那应用程序来操作kafka消息，比如计算度量指标，为其他应用程序有效的处理消息分区，或者对来自多个数据源的...

			
		

	



		

			
		



	

		

			

				
					
kettle kafka 消息生产插件

				
			

			

				

					01-17
				

			

		

		

			
				
kettle kafka 消息者生产插件，用于集成到kettle，生产Kafka消息。亲测试可用。

			
		

	





	

		

			

				
					
kettle整合kafka生产者消费者插件

				
			

			

				

					06-12
				

			

		

		

			
				
kettle7.1版本整合kafka，kafka插件包含生产者、消费者。直接在kettle安装目录plugins下创建steps目录，并解压下载文件到kettle/plugins/steps目录。具体可查看我博文。

			
		

	





	

		

			

				
					
kafka使用命令.txt

				
			

			

				

					06-07
				

			

		

		

			
				
本人积累的一些Kafka调试的常用命令，主要包含：启动Kafka、创建Topic、 查看topic列表、创建生产者、创建消费者、修改分区数、删除Topic、自带生产者性能测试

			
		

	





	

		

			

				
					
kafka3.2常用命令

				
			

			

				

					08-25
				

			

		

		

			
				
 - 使用 `cd` 命令切换到 Kafka 的解压目录。 3. **启动 ZooKeeper 服务**：  - 在命令行中输入以下命令并回车执行：  ```  bin\windows\zookeeper-server-start.bat config\zookeeper.properties  ```  - 该命令会...

			
		

	





	

		

			

				
					
Kafka运维宝典 （四）- Kafka 常用命令介绍

					
最新发布

				
			

			

				

					王多鱼的梦想
				

				

					01-23
					
					1515
					
				

			

		

		

			
				
Kafka 提供了一套全面的命令行工具，支持主题管理、消费者组管理、生产与消费数据等操作。熟练掌握这些命令可以帮助你更高效地管理 Kafka 集群，同时快速解决问题，提高系统运行效率。

			
		

	





	

		

			

				
					
kafka常用命令

				
			

			

				

					chenlei0520的博客
				

				

					02-08
					
					1465
					
				

			

		

		

			
				
kafka命令

			
		

	





	

		

			

				
					
kafka常用命令汇总

				
			

			

				

					奥迪的博客
				

				

					01-07
					
					305
					
				

			

		

		

			
				
新建topic
bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic test-service

删除topic
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test-clinet

消费topic新方式
bin/kafka-console-consumer.sh --boot

			
		

	





	

		

			

				
					
Kafka常用命令之kafka-console-consumer.sh

					
热门推荐

				
			

			

				

					Ernest
				

				

					04-06
					
					13万+
					
				

			

		

		

			
				
  kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。

			
		

	





	

		

			

				
					
大数据学习笔记——Kafka相关命令记录

				
			

			

				

					家住海边，见过大风大浪
				

				

					09-26
					
					178
					
				

			

		

		

			
				
jps
查看Kafka相关进程及进程号。其中Kafka为Kafka的守护进程，QuorumPeerMain为Zookeeper的守护进程
13542 Jps 6871 Kafka 31224 QuorumPeerMain


bin/kafka-topics.sh --list --zookeeper localhost:2181
查看Kafka已创建的topics


bin/kafka-c...

			
		

	





	

		

			

				
					
Kafka指南

				
			

			

				

					王者归来
				

				

					12-10
					
					1625
					
				

			

		

		

			
				
下载

https://kafka.apache.org/downloads

kafka_2.13-2.6.0.tgz

启动


单节点zookeeper实例
bin/zookeeper-server-start.sh config/zookeeper.properties



Kafka服务器

bin/kafka-server-start.sh config/server.properties



建立主题




			
		

	





	

		

			

				
					
【kafka】常用命令

				
			

			

				

					瘦熊的博客
				

				

					06-16
					
					179
					
				

			

		

		

			
				
启动kafka
bin/kafka-server-start.sh -daemon config/server.properties 

创建topic
bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test   

查看topic列表
bin/k...

			
		

	





	

		

			

				
					
Kafka使用入门教程

				
			

			

				

					下雨天__的专栏
				

				

					12-01
					
					1万+
					
				

			

		

		

			
				
介绍

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？

 

首先让我们看几个基本的消息系统术语：


Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行

			
		

	





	

		

			

				
					
kafka安装配置

				
			

			

				

					yangshijin1988的专栏
				

				

					04-21
					
					3099
					
				

			

		

		

			
				
1、Linux下

  首先，我们将下载好的Kafka基础安装包解压，命令如下所示：

解压Kafka

[hadoop@dn1 ~]$ tar -zxvf kafka_2.9.1-0.8.2.1.tgz


进入到Kafka解压目录

[hadoop@dn1 ~]$ cd kafka_2.9.1-0.8.2.1


配置环境变量

[hadoop@dn1 ~]$ 

			
		

	





	

		

			

				
					
linux上看kafka消费消息zookeeper管理的具体流程

				
			

			

				

					Captain249的博客
				

				

					07-05
					
					1740
					
				

			

		

		

			
				
zookeeper和kafka环境前面两篇博客已经介绍了，其实就是简单的虚拟机三台机器。

1、创建topic


kafka-topics.sh --create --zookeeper 192.168.1.101:2181 --replication-factor 3 --partitions 2 --topic test01



此时，可以去zookeeper上看看，是否创建了这个节点：（...

			
		

	





	

		

			

				
					
kafka使用kafka-console-consumer.sh和kafka-console-producer.sh生产消费数据样例

				
			

			

				

					microGP的专栏
				

				

					06-12
					
					7116
					
				

			

		

		

			
				
kafka-console-producer.sh生产无key消息

进入到kafka的bin目录下：执行以下脚本：


./kafka-console-producer.sh --broker-list List<host:port> --topic topicName

在下面的console中输入value后点击enter键即完成数据的生产

kafka-console-producer.sh生产有key消息

进入到kafka的bin目录下：执行以下脚本：


./kafka-conso

			
		

	





	

		

			

				
					
Kafka 使用命令脚本过滤 byte 类型的数据，打印过滤成功的数据

				
			

			

				

					09-28
				

			

		

		

			
				
Kafka 提供了一个强大的消息队列系统，但它本身并不直接支持通过命令脚本过滤字节类型的数据。通常，你在生产者或消费者端处理数据时，会先将字节数据转换成更易操作的对象，比如字符串、JSON或者其他结构化的形式。

如果你想过滤字节数据，这通常发生在应用层，例如在消费Kafka消息之后，使用编程语言如Java、Python等对接收到的字节流进行解析。你可以使用如下的步骤：

1. **序列化与反序列化**：首先，你需要将接收到的字节数据解码成某种特定的格式，比如`KafkaAvroDeserializer`用于Avro序列化，`KafkaJsonDeserializer`用于JSON。

```java
// Java示例
Deserializer<YourDataType> deserializer = new YourDeserializer();
byte[] bytes = ...; // 接收的字节数组
YourDataType data = deserializer.deserialize(topic, bytes);
```

2. **数据过滤**：然后，根据业务需求，在`YourDataType`上编写过滤逻辑，判断是否满足条件。

```java
if (data符合条件) {
    System.out.println(data); // 打印符合条件的数据
}
```

3. **重新序列化**：如果过滤成功，可以再次将数据序列化为字节，以便进一步处理或输出。

```java
Serializer<YourDataType> serializer = new YourSerializer();
byte[] filteredBytes = serializer.serialize("outputTopic", data);
```

请注意，以上过程依赖于你如何定义数据模型以及使用的序列化框架。如果你确实需要在命令行环境中过滤，可能需要结合Kafka的插件如Kafka Connect或是外部脚本语言（如Shell、Python等），但这超出了Kafka的基本功能范围。



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值