Kafka集群搭建指导

Kafka【第一篇】Kafka集群搭建 What is Kafka:它是一个分布式消息系统,由linkedin使用scala编写,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。具有高水平扩展和高吞吐量。 阅读详情
  1. 下载并解压安装包:
    在这里插入图片描述
  2. 运行kafka之前需要先启动zookeeper,可以使用kafka自带打包和配置好的zookeeper

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
在这里插入图片描述

  1. 然后启动kafka

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
在这里插入图片描述

  1. 修改配置文件,首先拷贝配置文件

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

  1. 更改配置文件内容
    config/server-1.properties:

broker.id=1
listeners=PLAINTEXT://localhost:19092
log.dirs=/home/appkafka/kafka_2.11-2.0.0/logs/logs-1
advertised.port=19092

config/server-2.properties:

broker.id=2
listeners=PLAINTEXT://localhost:29092
log.dirs=/home/appkafka/kafka_2.11-2.0.0/logs/logs-2
advertised.port=29092

broker.id 是唯一标识符,而且是每一个集群的唯一值。

  1. 启动另外两个kafka服务:

nohup bin/kafka-server-start.sh config/server-1.properties > kafka-run-1.log 2>&1 &
nohup bin/kafka-server-start.sh config/server-2.properties > kafka-run-2.log 2>&1 &
在这里插入图片描述

  1. 查看进程,可以看到现在有3个kafka服务了
    在这里插入图片描述

  2. 创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
在这里插入图片描述

  1. 查看topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
在这里插入图片描述

  1. 查看所有topic

bin/kafka-topics.sh -list -zookeeper localhost:2181

  1. 其他
    Kafka配置文件:server.properties

delete.topic.enable=true
auto.create.topics.enable=true
在这里插入图片描述

kafka
集群搭建:https://www.cnblogs.com/mythdoraemon/p/10171883.html
单机安装:https://www.cnblogs.com/CoolJayson/p/10601515.html

Zookeeper集群搭建和Kafka集群的搭建 Zookeeper!!! 一、Zookeeper集群搭建步骤 0)集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。 1)解压安装 (1)解压zookeeper安装包到/home/hadoop/insatll/目录下 [hadoop@hadoop01 tools]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /home... 阅读详情

相关推荐

Kafka 集群搭建

Kafka 集群搭建

qq_31515997的博客 2754

topic创建详解

1、自动创建 如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true(默认值就是true), 那么当生产者向一个尚未创建的topic发送消息时,会自动创建一个num.partitions(默认值为1)个分区和default.replication.factor(默认值为1)个副本的对应to...

勇心在馨 8856

kafka集群部署搭建【详细版】

因项目需要,需搭建kafka集群进行验证工作。系统环境真的很重要,这会影响排查问题的效率。但是大部分博客编写的时候基本上都没有记录这些,这就会导致有些命令不是共通的。#1 系统版本#2 jdk版本至此,kafka集群搭建完毕,大家如果有什么疑问,请及时和我沟通交流。

xgysimida的博客 4318

Kafka_集群搭建

一、 搭建Kafka集群 解压kafka压缩包tar -xzvf kafka_2.11-0.9.0.1.tgz修改config中的service.properties配置文件#当前机器在集群中的唯一标识,和zookeeper的myid性质一样broker.id=1#当前kafka对外提供服务的端口默认是9092 port=19092#这个参数默认是关闭的,在0.8.1有个bug,DNS解析问题,失败

Regan_Hoo的博客 511

kafka集群环境搭建

kafka集群测试环境搭建全记录。

链上研发 4418

Kafka重要配置参数全面解读(重要)

本文将深入探讨Kafka中一些重要的配置参数,包括生产者、消费者和Broker端的参数。通过详细的解释和实例说明,读者将了解到如何根据实际需求调整这些参数,以优化Kafka集群的性能和稳定性。

todoitbo的博客 12万+

kafka修改默认端口号

kafka修改默认端口号 kafka默认端口号:9092 改为 19092 端口号可以被任意修改。如果端口号设置为小于1024,那么kafka需要以root身份启动。 config下 1、service.properties port = 19092 不指定的话,按照默认9092 2、connect-distributed.properties

liu137612432的博客 1万+

搭建kafka集群详细教程

搭建kafka集群详细教程搭建kafka集群详细教程搭建kafka集群详细教程

Kafka集群搭建详细步骤

Kafka集群搭建 1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装; 2、 准备好kafka安装包,官网下载地址: http://kafka.apache.org/downloads.html 3、 下载好kafka安装包后,将其解压到/usr/local目录下,删

爱分享的淘金达人 3328

FLUX.1 LoRa 微调

微调的好处:可以让你突破换脸这种输入图片的场景约束,微调好的模型可以让你真正的文生图。换脸只能根据输入的图片和视频来生成内容。

szmars的博客 3621

CTF-Web学习笔记:服务端请求伪造(SSRF)篇

本文系统介绍了CTF比赛中SSRF漏洞的攻防技术。首先解析了SSRF的核心原理,即利用服务器对用户输入URL的未校验缺陷,诱导其访问内网资源。然后详细分析了5类常见CTF题型:文件读取、内网探测、云服务元数据窃取、协议绕过及组合漏洞利用。重点讲解了绕过URL过滤、利用特殊协议(如dict://、gopher://)等实战技巧,并通过一道SSRF+Redis的高阶题目演示完整攻击链。最后给出防御建议:严格校验输入URL、禁用危险协议、实施内网隔离等。

Deng7326的博客 1704

Kafka集群搭建

介绍了kafka集群的搭建

凉茶铺的博客 5088

【机械视觉】C#+VisionPro实战:位深图(CogImage8Grey)与Bitmap互转技巧及工业检测应用

本文详细介绍了在工业检测中如何使用C#和VisionPro实现位深图(CogImage8Grey)与Bitmap的高效互转技巧。通过实战代码示例和工业应用案例,帮助开发者解决图像处理中的常见问题,提升检测精度和系统性能,适用于半导体、汽车零部件等高精度检测场景。

weixin_29250573的博客 186

基于zookeeper搭建kafka集群

Kafka 是一款开源的分布式流处理平台,最初由 LinkedIn 开发,后由 Apache 基金会维护。它被设计用于高吞吐、可扩展的实时数据管道和流处理场景。Kafka 的核心功能包括发布和订阅消息流、持久化存储数据以及实时处理数据流。其架构基于生产者(Producer)、消费者(Consumer)、主题(Topic)和分区(Partition)等概念,支持水平扩展和高容错性。Kafka 广泛应用于日志收集、消息系统、实时分析和事件溯源等场景,是现代大数据生态系统中不可或缺的组件之一。

muxia_jhy的博客 1756

航天仿真必看:如何用SOFA库实现高精度GCRS-ITRS坐标转换?避坑指南

本文深入解析了航天仿真中高精度GCRS-ITRS坐标转换的关键技术,重点介绍了SOFA库在天球系与轨道系转换中的权威应用。通过对比传统方法的误差来源,详细阐述了SOFA库的转换算法优势、工程实现步骤及误差控制策略,为航天器轨道仿真提供毫米级精度的解决方案。

7h6j5k4l3的博客 850

汽车安全新防线|基于AI的入侵检测系统开发(全网独家复现),CNN-BiLSTM融合改进篇 强化CAN总线数据感知、助力多类型入侵检测、实时响应预警、车载场景有效落地

基于AI的入侵检测系统是汽车网络安全领域的重要技术突破,能够有效应对日益复杂的网络攻击威胁。随着AI技术的不断发展和普及,AI入侵检测系统将在汽车安全领域发挥越来越重要的作用。对于汽车制造商和供应商来说,实施AI入侵检测系统不仅是保障车辆安全的需要,也是提升市场竞争力的重要手段。未来,AI入侵检测系统将成为智能汽车的标准配置,为用户提供更加安全、可靠的驾驶体验。

getusushu的博客 86

快速入门Kafka系列(2)——Kafka集群搭建

        作为快速入门Kafka系列的第二篇博客,本篇为大家带来的是Kafka集群搭建~         码字不易,先赞后看! 文章目录Kafka 集群环境搭建1、初始化环境准备2、下载安装包并上传解压3、node01服务器修改ka...

大数据梦想家 6418

Vue2 - 详细实现网页 “开启录音并生成音频文件,上传到服务器效果“,浏览器录制外部音频调用麦克风并传到后端,兼容全部浏览器、支持 PC 网页或手机 H5 网页、可本地播放试听(详细示例运行代码)

vue,nuxt,uniapp,网页网站,麦克风,网页录音,MediaRecorder,浏览器录音,移动端h5网页,手机端录音,web网页录音,recorder-core官方文档,Recorder,非https怎么本地录音,录音报错失败,录音后怎么播放音频,如何获取录音mp3文件,解决一直不提示麦克风权限,小白详细教程,实时录音,调用浏览器麦克风录音,浏览器不兼容,wav,mp3,vue怎么实现网页录音呢,vue2网页录音并上传到服务器,web如何实现录制音频,vue网页录音,音频录制播放和上传服务器,vu

🏆 前端领域优质创作者 6003

zk集群+kafka集群搭建

三台linux服务器分别是 11.10.135.198 、11.10.135.202 、11.10.135.207:zookeeper 运行 需要依赖 jdk, kafka 运行需要依赖zokeeper, 所以需要先安装jdk, 然后安装zookeeper, 然后才能安装kafka。

code_lfh的博客 2402

华为面试手撕真题【求1-n的最小公倍数】

求1-n的最小公倍数

MISAYAONE的博客 2万+

如何使用 Python 爬虫获取猫眼电影数据:电影评分与评论分析

随着互联网的快速发展,越来越多的人开始使用各种在线平台来了解电影信息,猫眼电影作为一个非常流行的在线电影票务平台,提供了详细的电影评分、评论和票房数据。本篇博客将详细介绍如何使用 Python 爬虫技术获取猫眼电影平台上的电影数据,重点关注电影评分和用户评论的爬取,分析其背后的数据处理和反爬虫技术。如果你对数据分析、电影评论分析等话题感兴趣,可以根据本文的示例进一步深入挖掘更多的数据,为决策提供支持,或为电影产业的相关研究提供有价值的分析依据。有些猫眼电影的页面数据是动态加载的,使用。

2201_76125261的博客 1623

搭建kafka集群

准备三台服务器, 安装jdk1.8 ,其中每一台虚拟机的hosts文件中都需要配置如下的内容 192.168.72.141 node01 192.168.72.142 node02 192.168.72.143 node03 安装目录 安装包存放的目录:/export/software 安装程序存放的目录:/export/servers 数据目录:/export/data 日志目录:/e...

独孤一剑 2233

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

kafka集群搭建

这里写自定义目录标题环境准备host配置安装zookeeper集群kafka集群搭建如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 环境准备 搭建之前先做个简短说明。最近一个项目一直在使用kafka和redis,因单节点已完成且运行良好,为了进一步巩固系统稳定性,所以需要

快乐的小豆子的专栏 2677

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Kafka——两种集群搭建详解

Kafka是一个能够支持高并发以及流式消息处理的消息中间件,并且Kafka天生就是支持集群的,今天就主要来介绍一下如何搭建Kafka集群。Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式(即无Zookeeper)模式这两种模式搭建集群,这两种模式各有各的好处,今天就来分别介绍一下这两种方式这个配置项用于指定Kafka服务器监听客户端连接的地址和端口,当 Kafka 服务器启动时,它将监听listeners配置项中指定的地址和端口,等待客户端的连接请求。一般情况下这个配置以或者。

吴声子夜歌的博客 1万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Kafka-为什么要用集群?基于ZK搭建Kafka集群

Kafka为什么要用集群?因为单机服务的Kafka有很大的局限性,不稳定可能会崩溃,数据容易丢失。本文还手把手教你如何基于ZK搭建Kafka集群。

1575
上一篇: Excel常用函数汇总
下一篇: Groovy脚本常用语法
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值