kafka安装及配置

Kafka 安装与配置 本节详细介绍 Kafka 运行环境的搭建,为了节省篇幅,本节的内容以 Linux CentOS 作为安装演示的操作系统,其他 Linux 系列的操作系统也可以参考本节的内容。具体的操作系统的信息如下: [root@node1 ~]# uname -a Linux node1 2.6.32-504.23.4.el6.x86_64 #1 SMP Tue Jun 9 20:57:37 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]# cat /et 阅读详情

转载地址:https://blog.youkuaiyun.com/arpls20/article/details/80959260
https://www.cnblogs.com/justuntil/p/8033792.html(伪集群)
http://www.cnblogs.com/smartloli/p/4538173.html

1、下载kafka
官网下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.12-1.1.0.tgz

2、解压

tar -xzf kafka_2.12-1.1.0.tgz /usr/local/kafka

Kafka目录介绍

  • /bin 操作kafka的可执行脚本,还包含windows下脚本
  • /config 配置文件所在目录
  • /libs 依赖库目录
  • /logs 日志数据目录,目录kafka把server端日志分为5种类型,分为:server,request,state,log-cleaner,controller

3、配置环境变量

vim /etc/profile
#set kafka
export KAFKA_HOME=/usr/local/kafka
export PATH=/usr/local/kafka/bin:$PATH

使用环境变量生效

source /etc/profile

说明:kafka集群中每个节点都需要配置

4、配置 server.properties
kafka最为重要三个配置依次为:broker.id、log.dir、zookeeper.connect。

cd /usr/local/kafka/config
vim server.properties

在192.168.17.64机器上配置server.properties。

# broker.id就是指各台服务器对应的id,所以各台服务器值不同
# 64机器的broker.id用1,64机器的broker.id用2,68机器的broker.id用3
broker.id=1 
# broker server服务器端口号,无需改变
port=9092
# 当前服务器的IP,各台服务器值不同
host.name=192.168.17.64
# Zookeeper集群的ip和端口号
# 默认使用的2181端口,可在zookeeper配置文件conf/zoo.cfg中修改。
zookeeper.connect=192.168.17.64:2181,192.168.17.65:2181,192.168.17.68:2181 # 可以将ip换位主机名
# 日志目录,在指定的位置创建好文件夹logs
log.dirs=log.dirs=/data1/platform/kafka/logs
# 非本地生产者和消费者访问Kafka,记得修改 config/server.properties中的listeners
listeners=PLAINTEXT://192.168.17.134:9092 

5、把192.168.17.64配置好的kafka拷贝到192.168.17.65和192.168.17.68上

[root@localhost local]# scp -rp kafka root@192.168.17.65:/usr/local/
[root@localhost local]# scp -rp kafka root@192.168.17.68:/usr/local/

6、在65和68机器上创建log目录,修改broker.id,host.name

# 65机器
mkdir /data1/platform/kafka/
mkdir /data1/platform/kafka/logs
# 修改65机器server.properties的broker_id
broker_id=2
host.name=192.168.17.65

# 68机器
mkdir /data1/platform/kafka/
mkdir /data1/platform/kafka/logs
# 修改68机器server.properties的broker_id
broker_id=3
host.name=192.168.17.68

7、启动Kafka
(1)启动
启动kafka之前需启动zookeeper,然后启动kafka,各个节点需单独启动。
进入kafka目录,敲入命令

 nohup bin/kafka-server-start.sh config/server.properties >log 2>&1 &

(2)检测2181与9092端口

[root@nimbus kafka]# netstat -tunlp|egrep "(2181|9092)"
tcp6       0      0 192.168.17.64:9092      :::*                    LISTEN      40748/java          
tcp6       0      0 :::2181                 :::*                    LISTEN      37853/java       

Kafka的进程ID为40748,占用端口为9092
QuorumPeerMain为对应的zookeeper实例,进程ID为37853,在2181端口监听

使用jps命令查看kafka是否运行:

[root@nimbus kafka]# jps
46167 Jps
40748 Kafka
37853 QuorumPeerMain

8、创建topic
使用kafka-topics.sh 创建单分区单副本的topic test:

[root@nimbus kafka]# bin/kafka-topics.sh --create --zookeeper 192.168.17.64:2181 --replication-factor 1 --partitions 1 --topic test  
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Created topic "test". 

查看创建的topic test:

[root@nimbus kafka]# bin/kafka-topics.sh --list --zookeeper localhost:2181
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
test

其中,localhost为zookeeper地址

topic描述:

[root@nimbus kafka]# bin/kafka-topics.sh --describe --zookeeper 192.168.17.68:2181 --topic test 
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic:test      PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: test     Partition: 0    Leader: 2       Replicas: 2     Isr: 2

下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。
- Leader:负责处理消息的读和写,Leader是从所有节点中随机选择的。
- Replicas:列出了所有的副本节点,不管节点是否在服务中。
- Isr:是正在服务中的节点
-
9、产生消息命令
使用kafka-console-producer.sh 命令向topic test 发送消息

bin/kafka-console-producer.sh --broker-list 192.168.17.64:9092 --topic test

10、接收消息

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Kafka 在 Linux 下的集群配置和安装 本文详细介绍了在 Linux 环境中配置和安装 Kafka 集群的过程,包括每个配置项的说明和常见故障的排查方法。通过这些步骤,您可以轻松地构建一个可靠的 Kafka 集群,支持大规模数据流处理和实时数据传输。希望这篇文章能够帮助您顺利搭建和管理 Kafka 集群。 阅读详情

相关推荐

保姆级避坑指南:在Ubuntu 22.04上用ROS2 Humble搞定TurtleBot3的SLAM与导航(附5个常见报错解决方案)

本文提供了一份详细的Ubuntu 22.04上使用ROS2 Humble和TurtleBot3进行SLAM建图与导航的避坑指南,涵盖Gazebo启动失败、场景加载问题、环境变量设置、GLIBCXX版本冲突及Nav2参数配置等5个常见报错的解决方案,帮助开发者高效完成机器人导航项目。

weixin_29062823的博客 286

kafka 日志相关配置

log4j.properties 文件 log4j.properties 是 kafka 操作日志配置文件 log4j.properties 文件的一些说明 # 日志级别覆盖规则 优先级:ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF # 1.子日志log4j.logger会覆盖主日志log4j.rootLogger,这里设置的是日志输出级别,Threshold设置appender的日志接收级别; # 2.log4j.log

fenglepeng的博客 1万+

Spark Graphx 项目实战(航班飞行网图分析)

航班飞行网图分析一.需要的技能点二.任务描述三.数据探索1.下载数据2.数据格式四.航班飞行网图问题分析1.构建航班飞行网图2.统计航班飞行网图中机场与航线的数量3.计算最长的飞行航线4.找出最繁忙的机场5.找出最重要的飞行航线6.找出最便宜的飞行航线五.代码实现 一.需要的技能点 Spark GraphX API Spark GraphX PageRank Spark GraphX Pregel 二.任务描述 需求概述: 探索航班飞行网图数据 构建航班飞行网图 使用Spark GraphX完成下列任

May_J_Oldhu的博客 1542

修改Kafka服务日志输出目录不生效排查过程

背景:kafka的服务日志输出要求不能放在系统盘(空间比较小) 操作:本能的修改log4j.properties的日志输出,如图: 结果:重启服务后发现未生效,日志还是输出到当前目录的logs中猜测:设置的变量kafka.logs.dir未生效,那这个变量哪里来的呢?看下启动脚本 验证: 1、查看kafka启动脚本 kafka-server-start.sh, 其实真正的启动类是: if...

欲望以提升热忱 毅力以磨平高山 3541

CANbus收发器TJA1051T/3/1J应用原理图设计

该收发器是为汽车工业中的高速CAN应用而设计的,为(一个带有)CAN协议控制器的微控制器)提供差分传输和接收能力。它提供了改进的电磁兼容性(EMC)和静电放电(ESD)性能,还具有:当电源电压关闭时,TJA1051T/3和TJA1051TK/3可以直接与电源电压从3V到5V的微控制器接口。这种实现能够在CAN FD快速阶段以高达5 Mbit/s的数据速率进行可靠的通信。TJA1051T/3和TJA1051TK/3上的VIO输入允许直接连接3 V至5 V微控制器(分别提供SO8和极小的HVSON8封装)

zhusl6688的博客 3615

199、运动控制中的行业应用:微纳运动控制(压电陶瓷)

这篇文章分享了微纳运动控制中压电陶瓷应用的实战经验。作者通过半导体封装设备调试案例,揭示了压电陶瓷的非线性特性(迟滞效应和蠕变)对纳米级定位的影响,并指出微纳运动控制本质是"材料控制"而非单纯的电机控制。文章详细介绍了迟滞补偿的核心策略(PI模型)、闭环控制建议(滑模控制替代传统PID)、传感器选型要点(电容式位移传感器)以及调试中的常见问题(地线环路、机械谐振等)。最后给出实用建议:硬件选型比算法更重要,调试工具要专业,并强调微纳运动控制80%取决于对材料特性的理解。全文以工程师视角呈现,包含代码示例和血

m0_50546716的博客 47

kafka数据和日志目录迁移教程

简介 Kafka在运行的过程中,存储在磁盘上的数据会逐渐扩大,甚至会撑爆系统盘,在线上环境我们通常会把kafka的数据存储目录和日志存储目录迁移到磁盘中,或者扩容kafka的存储磁盘。本文将一站式解决kafka的磁盘存储或扩容问题。

五道口 1万+

CAPL与人工智能结合

AI模型是指通过机器学习算法训练得到的模型,可以用于分类、回归、聚类等任务。常见的AI模型包括神经网络、支持向量机、决策树等。在汽车电子系统中,AI模型可以用于故障诊断、驾驶行为分析、自动驾驶等场景。实时决策是指在汽车电子系统中,根据AI模型的预测结果,实时做出决策。实时决策可以用于自动驾驶、故障诊断等场景。通过本文的学习,读者应该对CAPL与人工智能结合有了初步的了解,并能够编写复杂的CAPL脚本。

闲人编程的博客 1484

Kafka~Kafka参数配置解析

一、zookeeper.connect 默认值:无 必填项 该参数指明broker要连接的ZooKeeper集群的服务地址(包含端口号),还可以在端口后面加上一个chroot路径,不指定chroot路径时默认使用ZooKeeper的根路径 单节点配置:hostname:2181 多节点配置:hostname1:2181,hostname2:2181,hostname3:2181 多节点配置(添加chroot路径):hostname1:2181,hostname2:2181,hostname3:2181/k

feizuiku0116的博客 3567

cdk&java | 绘制含有丰富信息的化学反应(适合论文、网页、PPT)

package org.example; import org.openscience.cdk.DefaultChemObjectBuilder; import org.openscience.cdk.depict.DepictionGenerator; import org.openscience.cdk.exception.CDKException; import org.openscience.cdk.interfaces.IReaction; import org.openscience.cdk.

ASKCOS博客 903

[特殊字符] RK3588 平台上基于 Panfrost 的 Mesa 驱动编译全过程

摘要: 本文详细记录了在RK3588平台(Ubuntu 20.04 aarch64)上编译基于Panfrost的Mesa驱动的全过程。内容包括:1)系统依赖安装;2)libdrm编译;3)Mesa配置参数优化;4)LLVM 15与SPIRV工具链的安装方法;5)SPIRV-Tools版本问题的解决方案;6)最终编译命令及常见错误处理。关键点在于正确设置工具链路径(PKG_CONFIG_PATH)和版本匹配(LLVM 15对应SPIRV-LLVM-Translator v15.0.0),推荐将组件安装在/op

梁俊星的博客 941

Kafka的Log存储解析

Kafka的Log存储解析 标签(空格分隔): kafka 引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和partit

jewes的专栏 4万+

COMSOL介电弹性体数值仿真指南:预拉伸圆形DEA的稳态变形分析(II)

本期博客是《COMSOL介电弹性体数值仿真指南》系列博客中的一期。聚焦于介电弹性体驱动器(DEA)中最为经典的预拉伸圆形DEA驱动器构型,对其在COMSOL平台中的具体建模步骤进行介绍与讨论。

忘了面孔的Batou 357

Kafka安装与配置

1.下载Kafka2.13-3.1.0 最新版为kafka_2.13-3.1.0.tgz 下载Zookeper 最新版为zookeeper-3.8.0 2.单机安装zookeper Kafka依赖于zookeeper,官方承诺将来会移除. 解压文件: tar zxvf apache-zookeeper-3.8.0-bin.tar.gz -C /opt/ mv /opt/apache-zookeeper-3.8.0-bin/ /opt/zookeeper 在/opt/zookeepe....

上善若水 厚德载物 1万+

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Kafka安装配置(zookeeper+kafka)

kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

weixin_62687791的博客 4840

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Kafka的安装与配置

设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;2.1、上传zookeeper-3.4.14.tar.gz到服务器。ZOOKEEPER_PREFIX指向Zookeeper的解压目录;3.8、此时Kafka是前台模式启动,要停止,使用Ctrl+C。# 复制zoo_sample.cfg命名为zoo.cfg。.apache.org/downloads下载。3.9、 验证kafka是否可以正常使用。1.3、查看zookeeper的启动信息。

xiaozhang的博客 1万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

kafka安装及配置过程

来来先扫一下,一码不扫何以扫天下 简介 Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache顶级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。 基础架构及术语 先看一下Kafka基础架构示意图 Producer:Producer即生产者,消息的产生者,是消息的入口。   kafk

崔向阳@李晓的博客 6495

kafka的安装及配置

1、下载地址 Apache Download Mirrors 下载命令:wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz 2、解压 解压命令:tar –zxvf kafka_2.13-2.4.0.tgz 移动: cp -R kafka_2.13-2.4.0 /zjl/program/ 创建软链接: ln -s kafka_2.13-2.4.0/ /zjl/program/kafka...

weixin_61459876的博客 7954

Kafka 在 Linux 环境下的安装配置

linux环境下安装配置Kafka以及遇到的一些问题

Ethereal的博客 7438

windows下安装配置kafka详解

windows下安装配置kafka详解

卓越之识论道,平常之识论事,狭隘之识论人 2554

【Kafka】Kafka安装、配置、使用、Java中使用-02

【代码】【Kafka】Kafka安装、配置、使用。

Blue_Pepsi_Cola的博客 2144

Kafka的安装、管理和配置

Kafka的安装、管理和配置

爱笑的boy的博客 2020

Kafka kafka在windows下的安装与配置kafka

Kafka kafka在windows下的安装与配置 kafka在windows下的安装与配置 1.安装包 apache-zookeeper-3.7.0-bin.tar.gz 下载地址1: http://zookeeper.apache.org/releases.html#download https://www.apache.org/dyn/closer.cgi/zookeeper/ https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper.

daringdart的专栏 2938
上一篇: kafka故障
下一篇: 使用pykafka,kafka-python的api开发kafka生产者和消费者
learn_tech
博客等级 码龄10年 68粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值