kafka环境搭建+spring-kafka-demo测试

最新推荐文章于 2025-04-08 13:49:43 发布

programmeryu

最新推荐文章于 2025-04-08 13:49:43 发布

阅读量5.1k

点赞数

分类专栏： java

本文链接：https://blog.youkuaiyun.com/programmeryu/article/details/81333538

版权

java 专栏收录该内容

17 篇文章

订阅专栏

kafka环境搭建1-单机

kafka是基于scala语言开发，所以需要java运行环境，下载前请先确认是否已经安装并配置java环境

下载安装

下载最新版的kafka软件
wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

解压缩

tar -xzf kafka_2.11-0.9.0.0.tgz

配置访问地址：

config/server.properties

#内网地址：192.168.85.171
listeners=PLAINTEXT://192.168.85.171:9092
#外网地址：192.168.85.171
advertised.listeners=PLAINTEXT://192.168.85.171:9092

开放默认端口：

/sbin/iptables -I INPUT -p tcp --dport 9092 -j ACCEPT

/sbin/iptables -I INPUT -p tcp --dport 2181 -j ACCEPT

启动

首先要进入kafka目录

启动zookeeper server（kafka自带的zookeeper）

bin/zookeeper-server-start.sh config/zookeeper.properties &

注意 & 号的使用：命令结尾添加 & 号，可以在执行完命令后退出当前命令环境却不会结束进程

启动kafka server

bin/kafka-server-start.sh config/server.properties &

创建主题

kafka生产和消费数据，必须基于主题topic。主题其实就是对消息的分类。

创建主题：名称为“test”、复制数目为1、partitions为1的topic主题

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

replication-factor ： 复制数目，提供failover机制；1代表只在一个broker上有数据记录，一般值都大于1，代表一份数据会自动同步到其他的多个broker，防止某个broker宕机后数据丢失。
partitions ：一个topic可以被切分成多个partitions，一个消费者可以消费多个partitions，但一个partitions只能被一个消费者消费，所以增加partitions可以增加消费者的吞吐量。kafka只保证一个partitions内的消息是有序的，多个一个partitions之间的数据是无序的。

查看已经创建的主题

bin/kafka-topics.sh --list --zookeeper localhost:2181

启动生产者和消费者

生产者产生（输入）数据，消费者消费（输出）数据

启动生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动后，在命令行下每输入一些字符串按下回车时，就作为一个消息并发送的kafka

启动消费者

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

启动消费者时，建议另开一个ssh窗口，方便一遍通过生产者命令行输入消息，一遍观察消费者消费的数据

当在生产者下输入消息并回车后，在消费者窗口下就能立即看到对应的消息，这就说明环境搭建成功。

Springboot +kafka

pom

<dependency>

   <groupId>org.springframework.kafka</groupId>

   <artifactId>spring-kafka</artifactId>

   <version>1.2.2.RELEASE</version>

</dependency>

application.properties

# kafka

spring.kafka.bootstrap-servers=192.168.85.171:9092

spring.kafka.consumer.group-id=group1

spring.kafka.consumer.auto-offset-reset=earliest

controller

package com.kaicom.nettytest.kafka;



import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.SpringApplication;

import org.springframework.kafka.annotation.KafkaListener;

import org.springframework.kafka.core.KafkaTemplate;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.ResponseBody;

import org.springframework.web.bind.annotation.RestController;



/**

 * @Author: BillYu

 * @Description:kafka连接测试

 * @Date: Created in 下午3:52 2018/6/4.

 */

@RestController

public class SampleController {

    private final Logger log = LoggerFactory.getLogger(SampleController.class);







    @Autowired

    private KafkaTemplate<String, String> template;



    @RequestMapping("/send")

    @ResponseBody

    String send(String topic, String key, String data) {

        template.send(topic, key, data);

        return "success";

    }







    @KafkaListener(id = "test", topics = "test")

    public void listenTest(ConsumerRecord<?, ?> cr) throws Exception {

        System.out.println("===>listen");

        log.info("{} - {} : {}", cr.topic(), cr.key(), cr.value());

    }









}

可视化监控安装

一、KafkaOffsetMonitor简述

KafkaOffsetMonitor是Kafka的一款客户端消费监控工具，用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以一目了然。

二、KafkaOffsetMonitor下载

KafkaOffsetMonitor托管在Github上，可以通过Github下载。
下载地址：https://github.com/quantifind/KafkaOffsetMonitor/releases

或者下载百度网盘：链接：https://pan.baidu.com/s/1geEBEvT 密码：jaeu

github提供下载的jar包应用了google网站提供的js文件，由于被墙的原因导致web界面无法访问。可以直接使用别人修改后的jar包，也可以从github上拉取源码然后修改打包。

三、KafkaOffsetMonitor启动

将下载下来的KafkaOffsetMonitor jar包上传到linux上，可以新建一个目录KafkaMonitor，用于存放KafkaOffsetMonitor-assembly-0.2.0.jar进入到KafkaMonitor目录下，通过java编译命令来运行这个jar包：

[root@kafka50 KafkaMonitor]# java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 10.0.0.50:12181,10.0.0.60:12181,10.0.0.70:12181 --port 8088  --refresh 5.seconds --retain 1.days

按回车后，可以看到控制台输出：

serving resources from: jar:file:/data/KafkaMonitor/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

SLF4J: Defaulting to no-operation (NOP) logger implementation

SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

2018-01-05 21:17:36.267:INFO:oejs.Server:jetty-7.x.y-SNAPSHOT

log4j:WARN No appenders could be found for logger (org.I0Itec.zkclient.ZkConnection).

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

2018-01-05 21:17:36.630:INFO:oejsh.ContextHandler:started o.e.j.s.ServletContextHandler{/,jar:file:/data/KafkaMonitor/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp}

2018-01-05 21:17:36.662:INFO:oejs.AbstractConnector:Started SocketConnector@0.0.0.0:8088

如果没有指定端口，则默认会开启一个随机端口。

参数说明:

zk ：zookeeper主机地址，如果有多个，用逗号隔开

port ：应用程序端口

refresh ：应用程序在数据库中刷新和存储点的频率

retain ：在db中保留多长时间

dbName ：保存的数据库文件名，默认为offsetapp

为了更方便的启动KafkaOffsetMonitor，可以写一个启动脚本来直接运行，我这里新建一个名为：kafka-monitor-start.sh的脚本，然后编辑这个脚本：

[root@kafka50 KafkaMonitor]# vim kafka-monitor-start.sh

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m  -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \

--port 8088 \

--zk 10.0.0.50:12181,10.0.0.60:12181,10.0.0.70:12181 \

--refresh 5.minutes \

--retain 1.day >/dev/null 2>&1;

然后退出保存即可，接下来修改一下kafka-monitor-start.sh的权限

[root@kafka50 KafkaMonitor]# chmod +x kafka-monitor-start.sh

启动KafkaOffsetMonitor：

[root@kafka50 KafkaMonitor]# nohup /data/KafkaMonitor/kafka-monitor-start.sh &

[1] 6551

[root@kafka50 KafkaMonitor]# lsof -i:8088

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

java    6552 root   16u  IPv6  26047      0t0  TCP *:radan-http (LISTEN)

四、KafkaOffsetMonitor Web UI

在游览器中输入：http://ip:port即可以查看KafkaOffsetMonitor Web UI,如下图：