Kafka---安装与使用

最新推荐文章于 2024-11-14 22:44:50 发布

原创最新推荐文章于 2024-11-14 22:44:50 发布 · 219 阅读

0 ·

CC 4.0 BY-SA版权

消息队列专栏收录该内容

6 篇文章

订阅专栏

该博客介绍了Kafka的安装与使用步骤。首先需下载并解压Kafka安装包，接着修改配置文件。运行Kafka依赖Zookeeper，可自行搭建Zookeeper集群，也可用Kafka内置脚本启动。先启动Zookeeper，再启动Kafka，最后可创建Topic。

一、下载kafka安装包

# 1.进入Apache官网，选择版本进行下载：
  http://kafka.apache.org/downloads
  http://kafka.apache.org/downloads.html
# 2.命令下载：
  wget http://apache.01link.hk/kafka/2.0.0/kafka_2.11-1.1.0.tgz

# kafka安装包和一般安装包的命名方式不一样，我们看一个kafka包命名：kafka_2.11-1.1.0.tgz，其中2.11是scala的版本，1.1.0才是kafka的版本。
# 官方强烈建议scala版本和服务器上的scala版本保持一致，避免引发一些不可预知的问题。

二、解压kafka安装包

# 将安装包放到服务器上的某个位置，然后进入这个位置的目录下。
# 我选择将kafka安装在 /usr/local/ 这个目录下。（解压到其它目录也可以，如：/opt/modules/）
[root@VM_0_17_centos ~]# tar -zxvf kafka_2.11-1.1.0.tgz -C /usr/local/

# 进入 kafka_2.11-1.1.0 目录
[root@VM_0_17_centos ~]# cd /usr/local/kafka_2.11-1.1.0

三、修改kafka配置文件

# 进入配置文件所在目录：配置文件在/usr/local/kafka_2.11-1.1.0/config目录下面。具体修改见另一篇。
[root@VM_0_17_centos ~]# cd /usr/local/kafka_2.11-1.1.0/config

四、启动服务

运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper。先启动zookeeper，再依次在各自节点上启动kafka。
kafka依赖zookeeper，zookeeper集群可以自己搭建，也可以用kafka安装包中内置的shell脚本启动zookeeper。
如果已经安装了zk单机或者zk集群（单机或者集群都可以，取决于你对高可用的要求），那么可以跳过这一步，直接启动Kafka。

# 启动zookeeper。启动zk有两种方式：
# 第一种是使用kafka自己带的一个zk。
[root@VM_0_17_centos ~]# bin/zookeeper-server-start.sh config/zookeeper.properties 
[root@VM_0_17_centos ~]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

# 第二种是使用其它的zookeeper，可以位于本机也可以位于其它地址。
# 这种情况需要修改config下面的sercer.properties里面的zookeeper地址。例如zookeeper.connect=192.168.213.11:2181。
# 成功启动zookeeper后才可以启动kafka。

# 启动kafka服务(启动broker)
[root@VM_0_17_centos ~]# bin/kafka-server-start.sh config/server.properties
[root@VM_0_17_centos ~]# bin/kafka-server-start.sh config/server.properties &
[root@VM_0_17_centos ~]# bin/kafka-server-start.sh -daemon config/server.properties