zookeeper集群的搭建

基于Zookeeper搭建spark集群 基于Zookeeper搭建spark集群一、前置条件二、Zookeeper集群搭建三、Spark集群搭建 一、前置条件 在搭建集群之前确保linux已安装JDK 三台机器分别为master、slave1、slave2 二、Zookeeper集群搭建 先从官网上下载zookeeper https://zookeeper.apache.org/releases.html 使用rz命令将zookeepe... 阅读详情

本集群搭建是基于之前的hadoop集群,有不明白之处可查看之前的hadoop集群搭建

1 在hadoop中的nn中: tar -zxvf zookeeper-3.4.12.tar.gz 解压zookeeper
2 进入解压后文件夹的conf目录
3 cp zoo_sample.cfg zoo.cfg 复制文件,并命名为zoo.cfg
4 vi zoo.cfg
1)dataDir=/home/hadoop/opt/tmp/zookeeper 新建数据目录:磁盘中保存数据的路径:需要更改
2)配置zookeeper集群所在的ip地址和端口
server.1=dn1:2888:3888
server.2=dn2:2888:3888
server.3=dn3:2888:3888
2888 ===》leader和follower通信用的 3888:用于投票

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
#dataDir=/tmp/zookeeper
dataDir=/home/hadoop/opt/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#zookeeper服务所在的端口
server.1=dn1:2888:3888
server.2=dn2:2888:3888
server.3=dn3:2888:3888

5 将zookeeper-3.4.12压缩成zk.3.4.tar.gz文件
tar czf zk.3.4.tar.gz zookeeper-3.4.12/
6 将压缩文件复制到dn1,dn2,dn3中
1) scp zk.3.4.tar.gz dn1:~
1) scp zk.3.4.tar.gz dn1:~
1) scp zk.3.4.tar.gz dn1:~

7 进入dn1中: 将文件解压到opt下
tar zxf zk.3.4.tar.gz -C ~/opt
mkdir -p tmp/zookeeper 创建目录
echo 1 > myid
在这里插入图片描述
8
1)在dn 1中创建目录:dataDir=/home/hadoop/opt/tmp/zookeeper,并在目录中生成一个文件myid,内容为1.
2)在dn2 中创建目录:dataDir=/home/hadoop/opt/tmp/zookeeper,并在目录中生成一个文件myid,内容为2.
3)在dn3 中创建目录:dataDir=/home/hadoop/opt/tmp/zookeeper,并在目录中生成一个文件myid,内容为3.
9 bin/zkServer.sh start 启动命令
bin/zkServer.sh status 查看状态

Zookeeper集群搭建和Kafka集群的搭建 Zookeeper!!! 一、Zookeeper集群搭建步骤 0)集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。 1)解压安装 (1)解压zookeeper安装包到/home/hadoop/insatll/目录下 [hadoop@hadoop01 tools]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /home... 阅读详情

相关推荐

zookeeper 集群搭建

输入 1 :wq (保存并退出)输入 2 :wq (保存并退出)输入 3 :wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出):wq (保存并退出)

段子手168的博客 859

zookeeper 配置JVM

zookeeper启动时报错,日志提示“Java heap space” 按照网上的办法,应该是需要配置zookeeper的JVM 配置文件在那里呢?请查看文件路径:zookeeper/bin/zkEnv.sh 配置文件路径在zookeeper/conf/java.env,如果java.env该文件不存在,那么就创建该文件 文件内容如下 -Xms1024是最小内存,-Xmx1

点道为止 1万+

Windows 24H2升级后eNSP AR_40报错40?VirtualBox虚拟化修复指南

虚拟化技术通过Hypervisor在操作系统与硬件间建立抽象层,使虚拟机能够共享物理资源。其核心原理依赖CPU的VT-x/AMD-V指令集,而Windows 24H2对内核隔离与驱动签名的强化会直接占用或拦截这些虚拟化资源。在工程实践中,VirtualBox作为Type-2型Hypervisor,常因内存完整性开启或版本过旧导致虚拟网卡创建失败,进而引发设备启动中断。典型场景包括网络仿真实验、多系统测试环境搭建等。当eNSP的AR_40路由器依赖VirtualBox引擎时,24H2的安全策略变更便会触发错误

weixin_34375251的博客 215

搭建zookeeper集群,并监控集群状态

配置文件的逐行详细解释,帮助你理解每个参数的作用和配置逻辑。:节点无法加入集群,日志报错。

yyeare的博客 1355

在 Ansys CFX Pre 中配置 RGP 表的分步指南

掌握在 Ansys CFX Pre 中设置 RGP 表的技巧,以优化仿真精度和效率。

jkh920184196的博客 1664

华为设备OSPF配置全流程:从邻居关系到区域划分实战指南

本文详细介绍了华为设备上OSPF协议的完整配置流程,从基础概念到实战操作,包括邻居关系建立、多区域划分及高级特性配置。特别针对华为设备的特有语法和验证命令进行了重点讲解,帮助网络工程师快速掌握OSPF在华为环境中的部署与优化技巧,提升网络配置效率。

weixin_29299807的博客 251

ZooKeeper :搭建ZooKeeper集群

ZooKeeper :搭建ZooKeeper集群 本文将介绍如何搭建ZooKeeper集群,博主准备搭建由三个ZooKeeper节点组成的集群,先需要创建三台虚拟机(VirtualBox可以复制虚拟机),系统为CentOS7,每台虚拟机配置相同,内存2G以及磁盘8G。如何创建虚拟机请参考这篇博客: VirtualBox安装CentOS7 还需要使用XShell来连接虚拟机,毕竟在VirtualBox上操作虚拟机比较麻烦。先使用VirtualBox进入虚拟机,查询该虚拟机的IP地址(使用ip addr或者

kaven 2941

SAP SD RRB实战:从DIP参数文件到DP90/DP91开票的完整链路解析

本文详细解析了SAP SD模块中RRB(Resource-related Billing)业务场景的完整链路,从DIP参数文件配置到DP90/DP91开票操作。通过实战案例分享DIP参数文件的核心配置技巧、特性设置及物料决定要点,帮助用户掌握动态开票的关键技术,提升SAP SD RRB的实施效率。

weixin_26833939的博客 378

ZooKeeper集群搭建

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习..

Ele_sorriu的博客 2万+

HC32F460的GPIO重映射实战:如何用3步搞定SPI引脚冲突问题

本文详细介绍了HC32F460的GPIO重映射功能,通过三步操作解决SPI引脚冲突问题。文章解析了HC32F460的FuncGroup功能分组机制,提供了具体的寄存器配置步骤和验证技巧,并对比了与传统方案的性能优势,帮助工程师灵活配置引脚,优化硬件设计。

t4y5u6i7o的博客 918

FPGA原理与结构(3)——存储单元(Storage Elements)

触发器,锁存器,寄存器,为什么xilinx推荐高电平复位,为什么latch依然存在,FPGA中的触发器与锁存器

apple_53311083的博客 2961

Zookeeper集群搭建

前期准备: 安装jdk(主页搜 jdk 有教程) 同步集群时间(主页搜 时钟同步 有教程) 关闭防火墙 主机与ip映射配置 下载安装包、解压 例如: tar -zxvf zookeeper-3.4.5.tar.gz -C /export/servers 修改环境变量(注意:3台zookeeper都需要修改) 进入 vi /etc/profile.d/zookeeper.sh 添加 export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5

tian_1_2_3的博客 1万+

【深度学习新浪潮】李飞飞团队VAGEN框架深度解析:让VLM智能体学会“三思而后行“

VAGEN框架的真正价值,不仅在于性能指标的突破,更在于重新定义了VLM智能体的发展方向——人工智能的进步不应只追求"做得对",更要实现"想得清"。李飞飞团队通过强制显式思考、动态表示适配和精细化奖励三大创新,让智能体第一次具备了可解释的世界建模能力。正如人类通过"观察-预测-行动"认识世界,VAGEN为AI注入的这种思考范式,或许正是通往通用人工智能的关键一步。对于开发者而言,开源的VAGEN框架不仅提供了强大的工具,更揭示了一个重要理念:让AI学会思考,比让它学会执行更重要。

专注:太空算力、AI infra、异构调度、大模型成本工程 280

zookeeper集群搭建

搭建前提 1.需要安装好jdk 2.检测集群时间是否同步 3.检测防火墙是否关闭 4.检测主机 ip映射有没有配置 步骤: 第一步: 将安装包解压 tar -zxvf zookeeper-3.4.5.tar.gz mv zookeeper-3.4.5 zookeeper(更名可有可无,我这里更名是为了后面路径写起来方便) 第二步: 修改环境变量(注意:有几台服务器修改几台) vi /etc/profile.d/zookeeper.sh(在profile.d里创建zookeeper.sh并编辑)

qq_21853321的博客 1万+

深度学习论文: Towards Total Recall in Industrial Anomaly Detection

在大规模工业制造中,能够准确检测出有缺陷的零件至关重要。我们在这项工作中面临的一个特殊挑战是冷启动问题:仅使用正常的示例图像来训练模型。虽然可以针对每个类别手动设计解决方案,但我们的目标是构建能够自动适用于多个任务的系统。最佳的方法是将ImageNet模型的嵌入特征与异常检测模型结合起来。在本文中,我们在这一研究基础上进行了扩展,并提出了PatchCore,它利用了一个具有最大代表性的正常补丁特征内存库。通过这种方法,我们能够更好地解决冷启动问题,并提高系统在多任务上的性能。

mingo_敏 1875

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

基于zookeeper搭建kafka集群

Kafka 是一款开源的分布式流处理平台,最初由 LinkedIn 开发,后由 Apache 基金会维护。它被设计用于高吞吐、可扩展的实时数据管道和流处理场景。Kafka 的核心功能包括发布和订阅消息流、持久化存储数据以及实时处理数据流。其架构基于生产者(Producer)、消费者(Consumer)、主题(Topic)和分区(Partition)等概念,支持水平扩展和高容错性。Kafka 广泛应用于日志收集、消息系统、实时分析和事件溯源等场景,是现代大数据生态系统中不可或缺的组件之一。

muxia_jhy的博客 1756

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Linux之Zookeeper集群搭建

Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zookeeper的应用场景。对 zookeeper 集群进行了这样三种角色划分:leader、follower、observer: - 领导者(leader):负责进行投票的发起和决议,更新系统状态。 - 跟随者(follower):用于接

月生的静心苑 1608

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Zookeeper搭建集群

Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...

qq_39380737的博客 2655

Zookeeper 集群搭建

文章目录Zookeeper 集群搭建环境准备依赖集群搭建一、安装二、配置相关一、常用命令 Zookeeper 集群搭建 环境准备 系统:CentOS 7.4 服务器:192.168.16.150、192.168.16.151、192.168.16.152 安装包:zookeeper-3.4.10.tar.gz 依赖 Java 集群搭建 一、安装 # 下载 Zookeeper $ cd /opt $ wget http://apache.mirror.cdnetworks.com/zookeeper/

liouwb 235

Zookeeper+ActiveMQ集群搭建

Zookeeper+ActiveMQ集群搭建 搭建三台虚拟机安装centos7。要提前安装好jdk环境 1.环境准备,搭建三台虚拟机ip分别是 192.168.192.130 192.168.192.131 192.168.192.134   Zookeeper环境准备 主机ip 消息端口 通信端口 节点目录/u...

好好学电脑 2868

zookeeper集群搭建​

1:下载zookeeper包 http://archive.apache.org/dist/zookeeper/2:解压:tar -zxf zookeeper-3.4.9.tar.gz3:新建文件夹:mkdir data  logs4:cp  conf/zoo_sample.cfg   conf/zoo.cfg5:vi   conf/zoo.cfg添加:dataLogDir  server  注意...

qq_17478947的博客 525

zookeeper集群快速搭建

zookeeper 下载 zookeeper官方下载地址 在虚拟机上快速搭建zookeeper集群 如果你有vagrant和virtualbox,那么你可以通过以下方式快速搭建一个具有3个节点的最小zookeeper集群 # 下载部署文件 git clone https://github.com/47oo/cluster-create-easy.git cd cluster-create-easy/zookeeper # 快速创建虚拟机 vagrant up vagrant ssh node1 单机模

47oo的博客 475
上一篇: hive的安装和配置
下一篇: 通过百度地图API单点运动,实现添加多个途经点
javaChengXuY
博客等级 码龄8年 15粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值