Kafka基本使用

Kafka基本使用

1.查看Kafka的进程是否在运行

#命令行终端中运行如下命令
ps -ef | grep kafka

或者

ps aux | grep kafka | grep -v grep

find / -iname  kafka-server-start.sh


cd /usr/local/kafka/bin/

#启动kafka
./kafka-server-start.sh  -daemon   /usr/local/kafka/config/server.properties

 2.Kafka默认使用9092端口提供服务，可以使用以下命令查看该端口是否已经打开

netstat -tnlp | grep 9092

 或者jps

如果Kafka进程正在运行，则会出现一个类似于以下的输出：

 

 zookeeper 配置

 find / -iname zoo.cfg

 cd /usr/local/zookeeper/conf

kafka 配置

 find / -iname server.properties


 cd /usr/local/kafka/config/

待更新

 

  启动zookeeper

find / -iname  zkServer.sh

cd /usr/local/zookeeper/bin/

#修改配置重新启动
./zkServer.sh restart

 

 查看 zookeeper 是否正常启动成功

sudo netstat -tulnp | grep 2181

 ps -ef | grep zookeeper

查看Kafka日志

tail /usr/local/kafka/logs/server.log

 

使用jps命令查看是否正常了

3.测试Kafka服务

可以通过在命令行终端中执行一些Kafka命令来测试Kafka服务是否正常工作。例如，可以使用以下命令查看Kafka当前可用的主题列表：

/usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --list

启动生产者

 ./kafka-console-producer.sh --broker-list localhost:9092 --topic helloKafka

 创建kafka生产者：

./kafka-console-producer.sh --broker-list 192.168.56.115:9092 --topic test

停止后重新开启

./kafka-console-producer.sh --broker-list 192.168.56.115:9092 --topic test

 ./kafka-console-producer.sh --broker-list localhost:9092 --topic test

./kafka-console-producer.sh --broker-list 192.168.56.115:9092 --topic test

 

启动消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic helloKafka

创建kafka消费者 

./kafka-console-consumer.sh --bootstrap-server  192.168.56.115:9092 --topic test --from-beginning

kafka可视化工具Kafka

 

查看topic分区列表及分区leader位置信息：

查看topic的消息内容。此功能会去每个分区获取固定数量（右下角设置）的消息，可以看到消息分区、offset消息位置、key、value、消息时间戳信息。下半部分还能查看到消息的长度（字节）。

设置字符格式   

 

报错1

Kafka配置使用 

1.进入Kafka安装目录

cd /usr/local/kafka/bin

2.打开server.properties配置文件

find / -iname server.properties

cd /usr/local/kafka/config/

1. 修改log.retention.check.interval.ms=2000。作用：缩短每次检查Log时间，确保输入删除命令后Kafka可短时间内删除掉Topic。

Kafka重启前的准备

在重启Kafka之前，需要做好以下几个方面的准备：

1. 保存好当前Kafka集群的数据；

2. 停止所有的生产者和消费者；

3. 关闭所有Kafka连接，在重启前确保没有任何请求发送到Kafka上。

./kafka-server-stop.sh   /usr/local/kafka/config/server.properties

 

   如果kafka服务没有停止，则使用以下命令终止进程：

kill -9 `ps ax | grep -i 'kafka' | grep -v grep | awk '{print $1}'`

二、重启Kafka节点

重启Kafka节点，通常需要按照以下步骤进行：

1. 停止当前节点上的Kafka服务:

2. 确认Kafka服务已完全停止：

ps -ef | grep kafka

3. 启动Kafka服务：

#前台运行：


./kafka-server-start.sh    /usr/local/kafka/config/server.properties

#后台运行：



./kafka-server-start.sh   -daemon   /usr/local/kafka/config/server.properties