CentOS 7 安装Kafka

Centos7安装Kafka Centos7安装Kafka 查询jdk安装目录指令 which java ls -lrt /usr/bin/java > lrwxrwxrwx 1 root root 46 Jun 10 2021 /etc/alternatives/java -> /usr/lib/jvm/ja va-8-openjdk-amd64/jre/bin/java 在Ubuntu上安装JDK 请按照以下文章手动在Ubuntu 20.04 LTS上下载并安装Oracle JAVA 8。可以查看本站的如何在 阅读详情

由于Kafka依赖Zookeeper,而Zookeeper需要java环境,故需要先安装jdk

一、安装JDK

(以下为jdk8的下载地址)

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.下载并解压到/opt/java目录下

tar -zxvf jdk-8u221-linux-x64.tar.gz

mv jdk1.8.0_221 /opt/java

2.配置环境变量

vim /etc/profile
#在profile文件的最后面添加
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH

3.验证是否安装成功

java -version  输出版本信息则说明jdk安装成功

 

二、安装Zookeeper

Zookeeper的下载地址:https://www.apache.org/dyn/closer.cgi/zookeeper/

1.下载并解压到/opt/zookeeper目录下

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14  /opt/zookeeper

2.编辑配置文件

# 复制一份zoo_sample.cfg文件并改名为zoo.cfg
cp /opt/zookeeper/zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg 文件
vim /opt/zookeeper/zoo.cfg
#主要修改dataDir和server.1=127.0.0.1:2888:3888这2处
# the directory where the snapshot is stored.
dataDir=/opt/zookeeper/data
# the port at which the clients will connect
clientPort=2181
server.1=127.0.0.1:2888:3888

3.配置环境变量

vim /etc/profile
#在profile末尾追加
export ZK_HOME=/opt/zookeeper
export PATH=$ZK_HOME/bin:$PATH

4.启动Zookeeper

zkServer.sh start

5.查看是否启动成功

查询进程是否存在

> ps -ef | grep QuorumPeerMain 

或者

> jps

查询QuorumPeerMain进程是否存在

 

三、安装Kafka

下载地址:https://kafka.apache.org/downloads.html

1.下载并解压并将文件移动到/opt/kafka目录下

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
tar  -zxvf kafka_2.12-2.3.0.tgz
mv kafka_2.12  /opt/kafka

2.配置kafka

#创建日志存放目录
cd /opt/kafka
mkdir -p log/kafka
#修改配置文件/opt/kafka/config/server.properties
sudo vim /opt/kafka/config/server.properties
#主要修改下面几项内容如下:
broker.id=181
listeners = PLAINTEXT://127.0.0.1:9092
log.dirs=/opt/kafka/log/kafka
zookeeper.connect=127.0.0.1:2181

3.配置环境变量

vi /etc/profile  #追加以下信息
export KAFKA_HOME=/opt/kafka
export PATH=$KAFKA_HOME/bin:$PATH

4.启动

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

5.查看是否启动成功

> ps aux|grep Kafka

或者

> jps

查看是否有Kafka进程

 

 

kafka其他的配置

配置单条消息的最大字节数

socket.request.max.bytes=2147483647    # 设置了socket server接收的最大请求大小

log.segment.bytes=2147483647              # kafka数据文件的大小,确保这个数值大于一个消息的长度。一般说来使用默认值即可(一般一个消息很难大于1G,因为这是一个消息系统,而不是文件系统)。

message.max.bytes=2147483647             # 设置了kafka server接收的最大消息大小,应小于等于socket.request.max.bytes

replica.fetch.max.bytes=2147483647         #每个分区试图获取的消息字节数。要大于等于message.max.bytes,否则broker会接收此消息,但无法将此消息复制出去,从而造成数据丢失。

fetch.message.max.bytes=2147483647      #每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytes,否则broker就会因为消费端无法使用这个消息而挂起。

 

配置开启远程访问

配置advertised.listeners=PLAINTEXT://yourIP:port ,重启kafka即可

 

参考文章:

https://www.cnblogs.com/Yang2012/p/8078586.html

 

解决创建conda环境时Solving environment: failed 和 ResolvePackageNotFound 的错误 环境配置文件是在别的机器上导出的,文件里的软件包是按照导出文件的机器配置的,因此导出的时候,把这些包的详细信息也导了出来,即第二个等号后面跟着的信息,当我们按照这个文件创建环境时,conda就会根据我们机器的配置信息,按照配置文件里包的详细信息,去找这个包,那当然找不到,结果发现“查无此包”,因此也就会报上面的错误。上面找到了问题的所在之处,解决起来就很简单了,只需要在配置文件 environment.yml 中将包的详细信息删除,也就是第二个等号后面的内容。然而升级超级慢不说,也没有解决我的问题。... 阅读详情

相关推荐

磁编码器选型避坑指南:为什么MT6816比霍尔传感器更适合你的伺服系统?

本文深入对比了MT6816磁编码器与传统霍尔传感器在伺服系统中的应用。MT6816基于AMR技术,对磁场方向敏感而非强度,具备高精度、强抗干扰、高安装容差和极低延时等优势,尤其适合高转速、恶劣环境下的工业场景,能有效提升系统可靠性与长期稳定性。

rainy的博客 1105

重新更改JDK无法识别的问题

由于jdk1.8新增了lambel的功能,我的JDK版本一直是1.8.0.60,不知道为什么,总是提示需要1.8以上版本,所以我就更改了1.8.25的版本的jdk。在环境变量中更改一下JAVA-HOME即可,但是在cmd的黑框中总是还显示以前的1.8.0.60版本。我用命令 java -version 命令来查看当前的jdk版本,任然是以前的,我用命令 set path可以看到所有在环境变量中设置

喝完牛奶好睡觉的博客 640

耕地质量评价软件实操指南:如何用Excel+ArcGIS一键生成土壤普查报告(附避坑技巧)

本文提供了一套融合Excel数据处理与ArcGIS空间分析的耕地质量评价实战工作流。详细讲解了从数据规范化预处理、高效数据桥接,到在ArcGIS中实现指标评分、综合指数计算与等级划分的全流程,旨在帮助土壤普查工作者大幅提升报告生成效率与准确性,并分享了关键的避坑技巧。

weixin_28455801的博客 496

Kafka之启动时找不到或无法加载主类 Files\Java\jdk1.7.60\lib\dt.jar;E:\Program错误

kafka集群搭建好之后启动kafka kafka-server-start.bat ../../config/server.properties 命令窗口提示:错误: 找不到或无法加载主类  Files\Java\jdk1.7.60\lib\dt.jar;E:\Program 修改kafka-run-class.bat中的set COMMAND值%CLASSPATH%加上双引号即可 s...

lemon 1547

手把手教你配置微信商户平台IP白名单:企业付款到零钱必备步骤

本文详细解析了微信商户平台IP白名单的配置原理与实操步骤,这是实现企业付款到零钱功能的关键安全环节。文章从理解IP白名单的安全逻辑出发,指导开发者精准定位服务器公网IP,并提供了在商户平台后台的详细配置流程与常见问题排查指南,帮助开发者高效完成配置,确保企业付款API的顺利调用。

weixin_29326909的博客 741

AI风控系统中的实时决策架构:架构师的关键设计

当用户点击「确认支付」时,一场毫秒级的“欺诈攻防战”正在后台悄然打响:系统需要在100ms内完成用户行为特征提取→欺诈模型推理→规则引擎校验→最终决策返回。这就是AI风控实时决策架构的核心——用技术对抗“实时化的欺诈手段”。本文将以「餐厅智能点餐系统」为类比,拆解实时风控架构的每一层逻辑:从“如何快速拿到用户的实时行为特征”(像服务员实时收集顾客的忌口),到“如何让模型和规则协同决策”(像厨师长结合菜谱和经验判断菜能不能做),再到“如何保证系统扛住大促的高并发”(像餐厅加桌子应对客流高峰)。我们会用。

2502_91592937的博客 1476

Linux下安装Kafka单机伪集群

前提:已安装zookeeper,参考:https://pandora.blog.youkuaiyun.com/article/details/106675933 kafka下载 链接:https://pan.baidu.com/s/1YbeWcNLKhabz-1dF9_XEMQ 提取码:rhxw 解压 > tar -xf kafka_2.12-2.3.0.tgz 修改配置config/server.properties # 9090节点 broker.id=0 listeners=PLAINTEXT://.

愤怒的小兵 586

4.4 直流无刷电机(BLDC):控制器硬件设计

摘要 本文详细阐述了直流无刷电机(BLDC)控制器的硬件设计要点。控制器硬件主要包括微处理器单元、功率驱动模块、信号检测电路、通信接口和电源管理模块。在微处理器选型方面,分析了ARM Cortex-M系列、DSP等架构的适用场景,并对比了不同处理器的性能参数。功率驱动模块设计重点包括栅极驱动电路、逆变桥热管理和电流保护机制。信号检测部分介绍了位置传感器接口和模拟信号调理技术。此外,还讨论了通信接口设计、电源管理方案以及硬件布局与EMC设计规范。最后强调了硬件测试验证的重要性,包括故障注入测试等验证方法。整体

技术工作者 186

centos7 Kafka安装

centos7 Kafka安装

q908544703的博客 2709

【深度学习|Transformer模型学习】什么是前馈神经网络(Feed-Forward Neural Network)?将前馈神经网络中的全连接层变成1*1卷积层会有什么样的效果?

【深度学习|Transformer模型学习】什么是前馈神经网络(Feed-Forward Neural Network)?将前馈神经网络中的全连接层变成1*1卷积层会有什么样的效果?

985小水博的摸鱼日常 1377

Wsl/InstallDistro/Service/RegisterDistro/CreateVm/HCS/E_INVALIDARG

摘要:安装WSL2时遇到E_INVALIDARG错误(多核CPU问题),可通过创建.wslconfig配置文件解决。配置内容包括:渐进式内存回收、自动代理、模拟虚拟系统调用、限制内存为4GB和处理器核心数为4。需确保已启用虚拟机平台和Linux子系统功能。 (98字)

猿小白的博客 1050

centos7系统安装kafka

一、准备确保服务器上已经搭建完成JDK,zookeeper服务;

码农崛起 3828

基于深度学习的灰度图像气泡群识别与优化

灰度图像气泡群深度学习识别优化研究 本研究针对MATLAB实现的深度学习气泡群识别系统在从1445个点到4992个点扩展时出现的精度不稳定问题,提出了一套完整的解决方案。文章首先分析了问题根源,包括数据复杂度增加、类别不平衡、网络容量不足等因素,然后系统性地提出了数据预处理增强、网络架构优化、训练策略调整和后处理算法改进等优化措施。通过改进的U-Net架构、自适应直方图均衡化等技术创新,有效提升了模型在大规模气泡群图像上的识别精度和稳定性,为化工、生物医学等领域的灰度图像分析提供了可靠的技术支持。

max500600的博客 413

CentOs7 安装 Kafka 或 Docker 安装 Kafka

kafka的安装

Java老兵的后端进阶与AI前沿探索之路。 2429

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【kafka】Centos7安装kafka

一、前言 前一段时间在通知系统中,用到了kafka,刚开始的时候是通过本地安装的kafka来运行的,本地安装的kafka。后来在项目中,使用的是阿里的kafka,阿里的也是今年8月开始推出的。这里先记录一下本地安装kafka的过程。 二 、kafka介绍 kafka,先说说小编最初认识是在学习mq的时候,当时知道使用的mq有很多种,rocketmq,rabbitmq等等。后来在项目中选择了rabb...

哈士奇 3万+

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

CentOS7安装kafka与kafka-eagle

Kafka是由scala所编写的一个消息中间件,因此安装Kafka需要依赖Zookeeper分布式协议、java开发环境以及Scala开发环境,而安装kafka-eagle依赖kafka和SiteDB或MySQL,因此安装kafka与kafka-eagle的步骤为:安装配置java的开发环境安装配置Scala的开发环境安装配置Zookeeper集群安装配置Kafka集群安装配置MySQL或SiteDB安装配置kafka-eagle本文中上述组件的安装均在普通用户sxZhang。

weixin_46031805的博客 1139

centos7安装kafka服务

本文目录前置工作 准备工作配置jdk环境安装zookeeper开始安装官网地址下载二进制包解压包移动到local目录下修改配置文件启动服务测试通信 前置工作 准备工作 配置jdk环境 centos7配置JDK环境 安装zookeeper centos安装zookeeper服务 单机部署的话也可以使用kafka内置的zk服务 开始安装 官网地址 http://kafka.apache.org/downloads 下载二进制包 wget https://archive.apache.org/dist/kafka

52IT的博客 3673

CentOS7下的Kafka集群安装部署

通过本文的实战指南,可掌握 Kafka 从单机配置到 3 节点集群的完整部署流程,涵盖环境规划、参数调优、监控测试及安全加固。生产环境中需根据业务流量动态调整分区数与副本策略,结合 Prometheus+Grafana 构建实时监控体系,并利用 Kafka MirrorMaker 实现跨数据中心数据同步。参考官方文档()可进一步学习流处理、连接器等高级特性。

2401_83224865的博客 1834

CentOs7安装 Kafka

在 CentOS 7 上安装 Kafka 可以按照以下步骤进行。这里假设您已经在 CentOS 7 系统上安装了 Java。如果没有安装 Java,请先安装 Java。

QQ657205470的博客 507

阿里云CentOS7安装Kafka单机

阿里云CentOS7安装Kafka单机

大头皮鞋的博客 1956

在CentOS 7上安装Kafka

简介Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。主要介绍Kafka 在Centos 7上的安装和使用(window上类似),包括功能验证...

softmaker_tao的专栏 1042

centos7安装kafka

参考自: https://www.mtyun.com/library/how-to-install-kafka-on-centos7(含单机多broker集群配置) 环境: jdk1.8 kafka2.11 centos7 启动前请确保装好了jdk1.8和zookeeper。安装教程分别如下: jdk安装教程:https://blog.youkuaiyun.com/...

Lisam Blog 6105

CentOS7单机安装配置Kafka教程

CentOS7单机安装配置Kafka教程前提单机安装验证 前提 官网下载kafka_2.11-2.3.0.tgz https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.11-2.3.0.tgz 已安装zookeeper: 教程:https://blog.youkuaiyun.com/sndayYU/article/details/10...

DRD 638

CentOS7安装kafka

使用的系统是CentOS7.4 x64。 要安装kafka,首先需要安装JDK,在yum列表中可以搜索到提供的JDK版本,从1.6到1.8都有,我们选最新的1.8安装。 # yum install java-1.8.0-openjdk.x86_64 -y # yum install java-1.8.0-openjdk-devel.x86_64 -y 注意:不能只安装JDK,还需要安装dev...

梁吉林的博客 5648

Linux基础环境搭建(CentOS7)- 安装Kafka

Linux基础环境搭建(CentOS7)- 安装kafka 1 kafka下载及安装 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决

? 4万+

CentOS7.x安装kafka

指定 kafka的绑定监听的地址 advertised.listeners=PLAINTEXT://slave1:9092。# 指定Kafka数据的位置 log.dirs=/opt/module/kafka/kafka-logs。# 指定Kafka数据的位置 log.dirs=/opt/module/kafka/kafka-logs。# 指定Kafka数据的位置 log.dirs=/opt/module/kafka/kafka-logs。# 指定broker的id broker.id=1。

2403_88666941的博客 1029
上一篇: Golang zap框架应用(三)—— 按时间段存储日志
下一篇: Prometheus和Grafana安装部署
思维的深度
博客等级 码龄11年 2万+粉丝 391原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值