Kafka消息队列安装和使用

原创 已于 2022-05-05 09:29:51 修改 · 194 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #big data #scala

于 2021-09-26 22:29:33 首次发布
本文详细介绍了Apache Kafka的概述、应用场景、集群搭建步骤、基本操作及API使用，包括生产者幂等性和事务特性。Kafka作为一个分布式事件流平台，常用于大数据实时处理，提供异步处理、系统解耦、削峰填谷等功能。文中还展示了如何在Linux环境下搭建Kafka集群，并提供了Kafka生产者和消费者的Java示例代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

消息中间件Kafka

Kafka概述

  1. Apache Kafka 是一个开源分布式事件流平台,基于发布/订阅模式,广泛应用于大数据实时处理领域

    在这里插入图片描述

Kafka的应用场景

  1. 异步处理
    1. 一般调用第三方接口(短信,邮件)的rt都比较长,这时候来个消息队列是极好的
  2. 系统解耦
    1. 把系统之间的直接调用,变为通过消息中间件,降低耦合度,提高程序的扩展性
  3. 削峰填谷
    1. 当大量请求短时间涌入时,消息中间件就是首选啦,返回用户正在处理中,处理完毕再返回处理完毕的信息
  4. 事件驱动的数据来源,一般和flume配合使用,收集日志,交由spark或flink处理

Kafa集群搭建

  1. 安装包下载地址

  2. 本文以3.0.0为例,列出详细步骤

    1. 目录以实际为准

      1. mkdir -p /opt/src
2. cd /opt/src
3. wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz
4. tar -xvf kafka_2.12-3.0.0.tgz -C /opt
5. cd /opt
6. mv kafka_2.12-3.0.0/kafka-v3.0.0
7. ln -s /opt/kafka-v3.0.0 /opt/kafka
8. cd kafka
9. mkdir data			# 存放kafaka数据的目录
10. cd config/
11. vim server.properties

    2. 修改server.properties内容如下

      broker.id=1 #每个broker的id需要是唯一的                                          
listeners=PLAINTEXT://内网地址:9092  
# 外部代理地址，如果不配置和listeners相同                                               
advertised.listeners=PLAINTEXT://外网地址:9092
log.dirs=/opt/kafka/data
zookeeper.connect=server1:2181,server2:2181,server3:2181

    3. 配置环境变量: vim /etc/profile, 编辑完成后使环境变量生效: source /etc/profile

      # Kafka Home
export KAFKA_HOME=/opt/kafka
export PATH=$KAFKA_HOME/bin:$KAFKA_HOME/sbin:$PATH

    4. 将文件进行分发

      1. xsync /opt/kafka-v3.0.0
      2. xsync /etc/profile
      3. 修改server.properties中的broker的id值,listeners对应的值server2,server3

  3. Zookeeper安装和启动:

  4. Kafka集群一键启动/关闭: vim /bin/mykfk.sh, 然后授予执行权限: chmod +x /bin/mykfk.sh

    #!/bin/bash

export CLU_SERVER="server1 server2 server3"
if [ $# -lt 1 ]
then
 echo "Pls Input Args Like 'start','stop'"
 exit ;
fi
case $1 in
"start")
echo " =================== 启动 kafka 集群 ==================="
 for i in $CLU_SERVER
  do
    echo " --------------- 启动 $i ---------------"
    ssh $i "source /etc/profile;export JMX_PORT=9988;nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties >/dev/null 2>&1 &"
  done
;;
"stop")
 echo " =================== 关闭 kafka 集群 ==================="
 for i in $CLU_SERVER
  do
    echo " --------------- 关闭 $i ---------------"
    ssh $i "source /etc/profile;jps | grep Kafka |cut -d' ' -f1 |xargs kill -s 9"
  done
;;
*)
 echo "Input Args Error..."
;;
esac

Kafka基本操作

  1. 创建主题(类似于文件系统中的文件夹或是mysql中的表的概念)

    kafka-topics.sh --create --bootstrap-server localhost:9092  --replication-factor 1 --partitions 2 --topic quickstart-events

  2. 查看主题

    kafka-topics.sh --bootstrap-server localhost:9092  --list

    在这里插入图片描述

  3. 生产与消费数据-简单模式

    1. 控制台生产信息

      kafka-console-producer.sh --broker-list  localhost:9092  --topic quickstart

    2. 控制台从起始位置消费

      kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic quickstart --from-beginning

  4. kafka自带压测工具(抛砖引玉)
    在这里插入图片描述

  5. 实际生产用一般使用Kafka Tool操作Kafka(抛砖引玉)

Kafka API

  1. 以下示例均参考Kafka官方文档

  2. 创建maven项目并引入依赖

    <?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.tyvek</groupId>
    <artifactId>kafkademo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <!-- kafka客户端工具 -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>3.0.0</version>
        </dependency>

        <!-- 工具类 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
            <version>1.3.2</version>
        </dependency>

        <!-- SLF桥接LOG4J日志 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.6</version>
        </dependency>

        <!-- LOG4J日志 -->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.16</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.7.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

  3. 创建生产者

    public class KafkaProducerTest {
   public static void main(String[] args) {
      // 1. 创建用于连接Kafka的Properties配置
      Properties props = new Properties();
      props.put("bootstrap.servers", "192.168.0.123:9092");
      props.put("acks", "all");
      props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
      props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

      // 2. 创建一个生产者对象KafkaProducer
      KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props);

      // 3. 调用send发送1-100消息到指定Topic test
      for(int i = 0; i < 100; ++i) {
         try {
            // 获取返回值Future，该对象封装了返回值
            Future<RecordMetadata> future = producer.send(new ProducerRecord<String, String>(
                    "quickstart", Integer.toString(i), Integer.toString(i)));
            // 调用一个Future.get()方法等待响应
            future.get();
         } catch (InterruptedException e) {
            e.printStackTrace();
         } catch (ExecutionException e) {
            e.printStackTrace();
         }
      }

      // 5. 关闭生产者
      producer.close();
   }
}

  4. 创建消费者

    public class KafkaConsumerTest {
   public static void main(String[] args) {
      Properties props = new Properties();
      props.setProperty("bootstrap.servers", "192.168.0.123:9092");
      props.setProperty("group.id", "test");
      props.setProperty("enable.auto.commit", "true");
      props.setProperty("auto.commit.interval.ms", "1000");
      props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
      props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
      KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
      consumer.subscribe(Arrays.asList("quickstart"));
      while (true) {
         ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
         for (ConsumerRecord<String, String> record : records) {
            System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
         }
      }
   }
}

Kafka 基本概念

  1. Broker: 一个broker就是一个kafka进程
    1. Kafka集群通常由多个broker组成
    2. 目前有ZK管理和协调,并且存储了Kafka的MetaData
  2. Producer（生产者）
    1. 生产者负责将数据推送给broker的topic
  3. Consumer(消费者)
    1. 消费者负责从broker的topic中拉取数据,并进行实际的业务逻辑
  4. Consumer Group(消费者组)
    1. 一个消费者组有一个唯一的ID(group id)
    2. 组内的消费者一起消费主题的所有分区数据
  5. Partioions(分区)
    1. 一个主题可以被分为多个分区
    2. 一个分区只会让一个消费者组中的一个消费者消费
  6. Replicas(副本)
    1. kafka的高可用机制,就是把源数据进行备份的数量
  7. Topic(主题)
    1. 类似于数据库中的表,同一类信息的一个集合
  8. Offset(偏移量)
    1. 可以理解为是一个标记,用来标识Consumer消费的位置
    2. 默认的offset是存储在Zookeeper中的,也可以存放在mysql或者redis中

Kafka 生产者幂等性与事务

  1. 幂等性
    1. 是否会发生这样的情况,同一个消息由于某种原因被重复发送了两次
    2. 是否同一条数据被重复消费
    3. Kafaka幂等性的实现原理,通过Producer ID和Sequence Number的概念
      1. PID: 每个Producer在初始化时,都会分配一个唯一的PID
      2. SN: 针对每个生产者对应有相应的PID,发送到指定主题分区的消息都对应一个从0开始递增的SN.
  2. 事务
    1. initTransactions: 初始化事务
    2. beginTransaction: 开始事务
    3. sendOffsetsToTransaction: 提交偏移量
    4. commitTransaction: 提交事务
    5. abortTransaction: 取消事务

Kafka的更多细节

  1. 自定义分区策略
    1. 自定义分区器

     ```java
 public class MyPartitioner implements Partitioner {
 
     private Random r;
 
     @Override
     public void configure(Map<String, ?> configs) {
         r = new Random();
     }
 
     @Override
     public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
         // cluster.partitionCountForTopic 表示获取指定topic的分区数量
         return r.nextInt(1000) % cluster.partitionCountForTopic(topic);
     }
 
     @Override
     public void close() {
     }
 }
 ```

    1. 在Kafka生产者配置中,使用自定义分区的类名

      props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, MyPartitioner.class.getName());

  2. 副本机制

    1. 就是把原始数据进行备份的数量
    2. acks设置为0时标识,不等待broker确认,直接发送下一条数据
    3. acks设置为all或者-1时,等待所有副本已经将数据同步后,才会发送下一条数据
    4. acks设置为1等待leader副本确认接收后,才会发送下一条数据

  3. 功能增强

    1. 我想从指定的位置读取数据并且自定义分区,自定义副本可以吗?
    2. 自行探究一下

  4. 分区的leader与follower

    1. leader负责写数据,follwer负责数据的同步
    2. follower也有备胎转正的机会

集群可参考:

  1. https://cloud.tencent.com/developer/article/1899055

实战可参考:

  1. https://blog.youkuaiyun.com/yuanlong122716/article/details/105160545?spm=1001.2101.3001.6650.8&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-8.topblog&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-8.topblog&utm_relevant_index=12
rabbitmq消息队列的安装（Windows）和使用
千城墨白
10-18 778
1、说明 RabbitMQ由Erlang语言开发，Erlang语言用于并发及分布式系统的开发，在电信领域应用广泛，OTP（Open Telecom Platform）作为Erlang语言的一部分，包含了很多基于Erlang开发的中间件及工具库，安装RabbitMQ需要 安装Erlang/OTP，并保持版本匹配。 2. 安装erlang 下载地址：http://erlang.org/download/otp_win64_20.3.exe 以管理员身份运行此文件进行安装。 找到.
【.NET】Kafka消息队列介绍，使用Confluent.Kafka集成Kafka消息队列
技术分享博客，工作经验，技能学习分享（多做一些不会的，会有意向不到的收获，IT高手不可能永远只做会的）
01-05 1797
【.NET】Kafka消息队列介绍，使用Confluent.Kafka集成Kafka消息队列
kafka消息队列的安装
yshir
08-24 382
mac安装kafka 1.安装最新版的kafka brew install kafka 这将安装所有的依赖,包括zookeeper 2.启动zookeeper brew services start zookeeper //启动zookeeper zkServer start //或者这样启动 可以用 brew info zookeeper 命令查看zookeeper的相关信息，包括启动命令 ...
Kafka队列安装教程
u013059161的专栏
07-06 440
1.关闭防火墙！！！！ systemctl disableiptables.service systemctl stopfirewalld.service service iptablesstop service firewalldstop 2.查看防火墙状态： service iptablesstatus   配置Zookeeper： 3.下载zookeeper包 http:
MQ（消息队列）的安装和简单使用
weixin_45028726的博客
02-25 2790
MQ的安装和使用1、RabbitMQ的下载和安装1.1 安装erlang语言1.2 安装RabbitMQ2、RabbitMQ操做java的helloworld的使用2.1 导包2.1 普通使用2.2三种订阅模型2.2.1 广播模式（FANOUT）2.2.2 定向模式（Direct）2.2.3 通配符模式（Topics） 概念 1、MQ(消息队列)，遵循先进先出的原则 2、提高系统稳定性,操作内容放...
ActiveMQ消息队列安装和使用
苏凯的博客
08-23 1827
ActiveMQ ActiveMQ介绍 什么是ActiveMQ ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的...
消息队列kafka使用技巧和常见问题
码农兴哥的技术笔记
06-06 1361
消息队列主要解决应用耦合、异步消息、流量削锋等问题，是大型分布式系统不可缺少的中间件。消息生产者 只管把消息发布到 MQ 中而不用管谁来取，消息消费者 只管从 MQ 中取消息而不管是谁生产的，这样生产者和消费者都不用知道对方的存在。对于一些流转步骤较多，或者耗费时间过长的场景，就可以使用消息队列。比如用户下订单成功后，可以通过消息队列异步发送信息，异步处理赠送积分等等。
kafka消息队列
qq_45972323的博客
10-23 1669
消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到 MQ 中而不管谁来取，消息使用者只管从 MQ 中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。RabbitMQ。
Kafka 消息队列
2301_80839375的博客
06-04 1557
核心定义消息队列（Message Queue）是一种异步通信中间件，允许应用通过发送/接收消息解耦系统组件。采用生产者-消费者模型解耦系统。生产者发送消息到队列，消费者异步拉取处理，典型组件如 Kafka、RabbitMQ。其工作模型如下分布式协调服务，为分布式系统提供一致性数据管理节点监听和集群选举能力核心特性树形命名空间（类似文件系统路径，如数据节点ZNode（分持久节点PERSISTENT和临时节点EPHEMERAL监听机制Watch（实时感知节点变化）强一致性（基于Zab 协议保证数据一致）
PHP kafka消息队列的使用
CyborgLin的博客
05-08 1019
PHP kafka消息队列的使用 1.kafka安装 kafka下载地址https://mirror.bit.edu.cn/apache/kafka/，这里我下载的是最新版本2.5.0，这里演示的是kafka单机单分区的情况： cd /opt/ wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz tar -zxvf kafka_2.12-2.5.0.tgz mv kafka_2.12-2.5.0 kafka c
KOA+egg.js集成kafka消息队列的示例
01-01
系统要求：日志记录，通过kafka进行消息队列控制 思路图： 这里消费者和生产者都由日志系统提供 λ.1 环境准备 ①Kafka 官网下载kafka后，解压 启动zookeeper： bin/zookeeper-server-start.sh config/zookeeper....
Kafka消息队列
01-07
Kafka （流处理平台） Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和...Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。 官网：http://kafk
kafka消息队列学习笔记
07-02
kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列...
Kafka消息队列应用实例解析
08-10
在“Kafka 消息队列示例”中，生产者负责生成数据并将其发送到指定主题。生产者可以通过自定义分区器决定如何将消息分配到不同分区。此外，Kafka 生产者支持批量发送，以提高效率并降低网络 I/O 开销。 Kafka 消费者...
Flink CDC 实战：实时监听 MySQL Binlog 并同步到 Kafka
weixin_44519124的博客
08-14 1056
本文介绍了使用Flink CDC实时监控MySQL Binlog并将变更数据写入Kafka的方案。主要内容包括：MySQL需开启ROW格式的binlog并授权Flink用户；Flink通过CDC连接器直接解析binlog，无需手动处理；数据以JSON格式写入Kafka供下游消费。方案优势在于自动解析binlog、支持断点续传、可扩展多种存储系统。适用于需要实时同步MySQL数据到分析系统的场景，如数据分析、监控预警等。文中提供了详细的环境配置、代码示例和注意事项，帮助开发者快速搭建实时数据采集链路。
飞算JavaAI的中间件风暴：Redis + Kafka 全链路实战
2401_84813926的博客
08-13 820
在数字化转型加速的今天，Java作为企业级应用开发的首选语言，其技术栈的复杂度与日俱增——从微服务架构到分布式系统，从数据库交互到消息队列集成，开发者需要掌握的技术点呈指数级增长。然而，对于高校学生、初级工程师乃至企业团队而言，“技术门槛高”“开发周期长”“学习曲线陡峭”始终是制约项目落地的核心痛点。正是在这样的背景下，飞算JavaAI凭借其“AI赋能+全流程智能辅助”的独特定位，迅速成为Java开发领域的现象级工具。
Kafka 面试题及详细答案100道（11-22）-- 核心机制1
最新发布
大剑师兰特的GIS世界
08-16 780
Kafka分区与副本机制解析 摘要：本文深入解析Kafka的分区与副本机制，包括分区的作用、数量确定原则、副本类型及职责。重点介绍了Kafka的ISR同步机制和故障转移过程，涵盖以下核心内容： 分区(Partition)是Kafka实现并行处理的核心机制，通过分区可提高吞吐量、实现负载均衡和支持水平扩展 副本(Replica)机制确保数据高可用，包含Leader副本(处理读写)和Follower副本(数据同步) ISR(同步副本集合)机制动态维护可用副本，通过min.insync.replicas配置保证数
kafka 单机部署
够浪
08-14 559
部署kafka
Kafka消费者组
刘皇叔说Java的博客
08-14 478
例如：Topic有3个分区，消费者组有3个消费者，则每个消费者负责1个分区，实现完全并行。例如：一个Topic有10个分区，消费者组最多可以用10个消费者达到最大吞吐。，同时确保消息在组内消费者之间的合理分配。例如：订单消息同时被「库存系统」和「物流系统」两个消费者组消费。注意：不同分区之间的消息顺序无法保证。建议：分区数 ≥ 消费者数。Kafka消费者组的本质是。
Kafka消息队列安装包下载指南
6. 支持流处理：Kafka不仅作为消息队列使用，还支持实时的流处理，通过Kafka Streams API来处理消息数据。 知识点五：Kafka的应用场景 Kafka广泛应用于多种实时数据处理的场景，例如： 1. 构建实时数据管道：Kafka...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值