kafka简介及安装配置

本文介绍了消息队列中间件的重要性和使用场景,重点讲解了Kafka这一高吞吐量的分布式消息系统,包括它的核心概念如broker、topic、partition和message。详细阐述了Kafka的安装配置步骤,涉及解压、配置文件修改、环境变量设置以及依赖于Zookeeper的启动流程。

kafka安装包
提取码: ci74

一、消息队列

相关概念:消息队列中间件是分布式系统中非常重要的中间件,主要解决 应用耦合,异步消息,流量削峰 等问题。实现 高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。

使用场景如:

  1. 异步处理: 如用户注册后,发送注册邮件,再发送注册短信。
  2. 应用解耦: 如用户下单后,订单系统需要通知库存系统。
  3. 流量削峰:如秒杀活动,一般会因为流量过大,导致流量暴增。
  4. 日志处理:解决大量日志传输问题,日志采集客户端,负责日志采集,写入消息队列。消息队列复制日志后续处理转发。
  5. 消息通讯:

目前生产环境使用较多的消息队列有:activeMQ、rabbitMQ、zeroMQ、Kafka、metaMQ、rocketMQ等。

二、kafka简介

kafka是一种高吞吐量的分布式发布订阅消息系统,他可以处理消费者规模较大网站中所有动作流数据。官网地址:http://kafka.apache.org/http://kafka.apache.org/

优势:高吞吐量,非常普通的应将kafka也可以支持每秒数百万的消息。 支持通过kafka服务器和消费机集群来区分消息。支持hadoop并行数据加载。

关键词:

  • broker: kafka集群中的一台或多台服务器统称broker。
  • Topic: kafka处理的消息源(feeds of messages)的不同分类。
  • partition:Topic物理机上的分组,一个topic可分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。
  • Message :消息,是通信的基本单位。每个producer可以向一个topic(主题)发布一些消息。
  • producers:消息和数据的生产者,向kafka的一个topic发布消息的过程叫producers。
  • consumers:消息和数据消费者,订阅topic并处理其发布的消息的过程叫做consumers。

三、安装配置kafka

  1. 在opt目录解压并改名
tar -zxvf kafka_2.11-2.0.0.tgz
mv kafka_2.11-2.0.0 kafka
  1. 修改配置文件
vi /opt/kafka/config/server_properties
//查看是否有broker.id
broker.id=0

//your.host.name改成ip地址
advertised.listeners=PLAINTEXT://192.168.184.40:9092

//修改kafka日志存放地址
log.dirs=/opt/kafka/kafka-logs

//localhost修改成ip地址
zookeeper.connect=192.168.184.40:2181

//最后一行增加
delete.topic.enable=true

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据存储时间,默认7天,如需要可修改
在这里插入图片描述

  1. 配置环境变量
vi /etc/profile

//增加如下内容
export KAFKA_HOME =/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

//修改完成后
source /etc/profile
  1. 启动kafka
    kafka运行基于zookeeper因此需要先开启
zkServer.sh start

后台启动kafka

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

jps查看进程

在这里插入图片描述

  1. 设置server.properties的软链接
ln -s /opt/kafka/config/server.properties /opt/softlink/server.properties

启动命令变更为

kafka-server-start.sh -daemon /opt/softlink/server.properties
### Kafka 安装教程 #### 准备工作 为了确保 Kafka 正常运行并支持集群功能,Zookeeper 必须采用集群模式部署[^1]。通常建议至少设置三个 Zookeeper 实例来形成一个稳定的伪集群环境。 #### 下载与解压 前往 Apache Kafka 官方网站下载最新版本的 Kafka 压缩包,并将其解压缩到指定位置。 ```bash wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.12-2.8.1.tgz tar -xzf kafka_2.12-2.8.1.tgz cd kafka_2.12-2.8.1 ``` #### 修改配置文件 编辑 `config/server.properties` 文件,在大约第60行的位置调整必要的参数以适应具体的生产需求[^4]: ```properties broker.id=0 listeners=PLAINTEXT://:9092 log.dirs=/tmp/kafka-logs ``` #### 启动服务 启动前需确认 Zookeeper 已经正常运作。之后可以依次启动 Kafka Broker 和其他组件。 ```bash bin/zookeeper-server-start.sh config/zookeeper.properties & bin/kafka-server-start.sh config/server.properties & ``` ### 创建 Topic 示例 进入 Kafka 所在目录后,可以通过如下命令创建一个新的主题 (topic),这里以名为 `testTopic` 的单副本、单分区的主题为例[^3]: ```bash bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic ``` ### 使用指南 完成上述步骤后即可开始发送消息至该主题或将消费者连接至此主题接收数据流。对于 PHP 应用程序而言,则可借助专门开发的支持多达五十种 API 调用方式的 php-kafka-client 来实现更便捷的消息处理操作[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值