Kafka(单机安装)

在安装Kafka之前要先安装jdk和zookeeper


1、下载地址

      https://archive.apache.org/dist/kafka/1.0.0/


2、通过ftp上传至Linux服务器文件目录下

    

3、解压缩

     tar -zxvf  kafka_2.11-1.0.0.tgz.gz


4、重命名

     mv kafka_2.11-1.0.0 kafka


5、配置kafka,修改server.properties

     cd /usr/local/software/kafka   #进入kafka安装目录

     mkdir log     #创建日志目录

     mkdir log/kafka

     cd /usr/local/software/kafka/config  #进入配置目录

     vi server.properties  #修改相应的参数

    


6、配置kafka下的zookeeper

      cd /usr/local/software/kafka    #进入到kafka安装目录

      mkdir zookeeper    #创建zookeeper目录

      cd /usr/local/software/kafka/log    #进入到日志目录

      mkdir zookeeper    #创建zookeeper目录

      cd /usr/local/software/kafka/config    #进入到config目录

      vi zookeeper.properties    #编辑配置参数

     


7、启动服务

        (1)首先启动zookeeper

                  cd /usr/local/software/kafka    #进入到kafka的安装目录

                  bin/zookeeper-server-start.sh config/zookeeper.properties

   

        (2)启动kafka服务

                 bin/kafka-server.start.sh config/server.properties


8、测试创建topic

      cd /usr/local/software/kafka/bin

    


9、查看topic

     cd /usr/local/software/kafka/bin

    


10、查看topic详情

       cd /usr/local/software/kafka/bin

     

### Kafka 单机环境安装教程 #### 1. Java 环境准备 Kafka 是基于 Scala 开发的工具,因此需要依赖于 Java 运行环境。在开始之前,请确保已正确安装并配置 JDK 1.8 或更高版本[^2]。 可以通过以下命令验证 Java 是否可用以及其版本号: ```bash java -version ``` 如果未安装 Java,则需先下载并安装适合操作系统的 JDK 版本。 --- #### 2. Zookeeper 的安装与配置 Kafka 使用 Apache ZooKeeper 来管理集群元数据和其他协调功能。以下是单机模式下 Zookeeper 的安装步骤: ##### (a) 下载 Zookeeper 访问官方镜像站点获取最新稳定版本的 Zookeeper 压缩包[^3]: ```bash wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-<version>/zookeeper-<version>.tar.gz ``` 解压压缩包到目标目录: ```bash tar -zxvf zookeeper-<version>.tar.gz -C /usr/local/ cd /usr/local/zookeeper-<version> ``` ##### (b) 修改 `zoo.cfg` 文件 编辑默认配置文件 `/conf/zoo_sample.cfg` 并将其重命名为 `zoo.cfg`: ```bash cp conf/zoo_sample.cfg conf/zoo.cfg ``` 确认其中的关键参数设置如下: ```properties tickTime=2000 dataDir=/tmp/zookeeper clientPort=2181 initLimit=5 syncLimit=2 ``` 启动 Zookeeper 服务: ```bash ./bin/zkServer.sh start ``` 通过以下命令检查状态以确保正常运行: ```bash ./bin/zkServer.sh status ``` --- #### 3. Kafka安装与配置 完成上述准备工作后即可继续安装 Kafka。 ##### (a) 下载 Kafka 前往官网或镜像站点下载 Kafka 安装包: ```bash wget https://downloads.apache.org/kafka/<version>/kafka_<scala-version>-<version>.tgz ``` 解压至指定路径: ```bash tar -zxvf kafka_<scala-version>-<version>.tgz -C /opt/ cd /opt/kafka_<scala-version>-<version>/ ``` ##### (b) 配置 Kafka Broker 进入 Kafka 解压后的根目录,找到 `config/server.properties` 文件进行必要的调整[^1]: 关键属性说明及推荐值: - **broker.id**: 设置唯一的 broker ID,默认为 0。 - **listeners**: 指定监听器端口,例如 `PLAINTEXT://localhost:9092`。 - **log.dirs**: 日志存储位置,建议单独分配磁盘空间。 - **zookeeper.connect**: 指向本地 Zookeeper 实例,例如 `localhost:2181`。 保存更改后退出。 --- #### 4. 启动 Kafka 和测试 依次执行以下命令来启动 Kafka 及相关组件,并验证基本功能。 ##### (a) 启动 Kafka Server 后台运行 Kafka 服务: ```bash ./bin/kafka-server-start.sh -daemon config/server.properties ``` 可通过以下方式检查 Kafka 是否成功启动[^4]: ```bash ps aux | grep kafka ``` ##### (b) 创建 Topic 测试 创建一个新的主题用于消息传递: ```bash ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 \ --replication-factor 1 --partitions 1 --topic test_topic ``` 列出当前所有主题以验证: ```bash ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` ##### (c) 生产者与消费者测试 模拟发送一条消息给该主题: ```bash echo "This is a test message." | ./bin/kafka-console-producer.sh \ --broker-list localhost:9092 --topic test_topic ``` 随后开启另一个终端窗口作为消费者接收此条消息: ```bash ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --from-beginning --topic test_topic ``` 当看到刚才生产的字符串时即表明整个流程工作正常。 --- #### 5. 自定义启动脚本(可选) 为了简化日常运维操作,可以编写简单的 Shell 脚本来控制 Kafka 的启停过程[^5]。下面是一个基础模板供参考: ```bash #!/bin/bash home=kafka_2.12-2.5.0 port=9092 if [ -z "$1" ]; then echo "Command error, please specify 'start', 'stop' or 'status'!" exit fi if [ "$1" == "start" ]; then sh "./$home/bin/kafka-server-start.sh" -daemon "./$home/config/server.properties" elif [ "$1" == "stop" ]; then sh "./$home/bin/kafka-server-stop.sh" elif [ "$1" == "status" ]; then netstat -anp | grep $port else echo "Command error, please specify 'start', 'stop' or 'status'!" fi ``` 赋予脚本权限后再调用它实现对应动作。 --- ### 总结 以上便是完整的 Kafka 单机环境搭建指南,涵盖了从必要条件检查到最终功能性检验的所有环节。希望这些指导能够帮助顺利完成部署任务!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值