认识ZooKeeper

hbase 访问zookeeper的问题 坑 1、 Configuration config = HBaseConfiguration.create(); 书上说是会自动加载hbase-site.xml里面配置的zookeeper 配置 但是实际上是访问的是localhost本地的zookeeper2181端口 2、因此如果本地不是zookeeper server 的话就无法访问hbase 了 3、解决办法通过参数传给程序 例子: 阅读详情

Zookeeper


ZooKeeper 是一个为分布式应用所设计的分布的、开源的协调服务。分布式的应用可以建立在同步、配置管理、分组和命名等服务的更高级别的实现的基础之上。 ZooKeeper 意欲设计一个易于编程的环境,它的文件系统使用我们所熟悉的目录树结构。

ZooKeeper Server是一个Java语言实现的分布式协调服务框架,因此需要6或更高版本的JDK支持。

Zookeeper主要使用于构建一般的分布式应用,Zookeeper是Hadoop的分布式协调服务。

分布式协调服务是出了名的难得编写正确,很容易出现竞争条件和死锁之类的错误。ZooKeeper的动机是减轻为分布式应用开发协调服务的负担.

分布式应用的困难在于会出现“部分失败”,即我们甚至不知道一个操作是否已经失败。Zookeeper并不能根除部分失败,也不能隐藏部分失败,但他提供了一组工具,使你在构建分布式应用时能够对部分失败进行正确处理。


Zookeeper的特点:

1.简单性;Zookeeper的核心是一个精简的文件系统。(提供操作:排序和通知)

2.富有表现力;实现协调数据结构和协议。(相关实例:分布式队列、分布式锁和一组同级节点中的“领导者选举 leader election”)

3.高可用性;运行于一组机器上,高可用,完全可以依赖。(避免出现单点故障)

4.采用松耦合交互方式;在Zookeeper支持的交互过程中,参与者不需要彼此了解。(“约会”机制,让进程在不了解其他进程或网络状况的情况下能够彼此发现并进行交互;参与协调的各方甚至可以不必同时存在,Zookeeper中可以留下一条消息。)

5.是一个资源库;Zookeeper提供了一个通用协调模式实现和方法的开源共享存储库。


理解Zookeeper的一种方法就是将其看作一个具有高可用性的文件系统。没有文件和目录,而是统一使用“节点”概念,称为znode。

ZooKeeper中的每一个节点是都通过路径来识别。ZooKeeper的节点是通过像树一样的结构来进行维护的,并且每一个节点通过路径来标示以及访问。除此之外,每一个节点还拥有自身的一些信息,包括:数据、数据长度、创建时间、修改时间等等。


Zookeeper维护一个具有层次关系的数据结构,类似于一个标准的文件系统,这种数据结构有如下这些特点:

  1. 每个子目录项如 NameService 都被称作为 znode,这个 znode 是被它所在的路径唯一标识,如 Server1 这个 znode 的标识为 /NameService/Server1

  2. znode 可以有子节点目录,并且每个 znode 可以存储数据,注意 EPHEMERAL 类型的目录节点不能有子节点目录

  3. znode 是有版本的,每个 znode 中存储的数据可以有多个版本,也就是一个访问路径中可以存储多份数据

  4. znode 可以是临时节点,一旦创建这个 znode 的客户端与服务器失去联系,这个 znode 也将自动删除,Zookeeper 的客户端和服务器通信采用长连接方式,每个客户端和服务器通过心跳来保持连接,这个连接状态称为 session,如果 znode 是临时节点,这个 session 失效,znode 也就删除了

  5. znode 的目录名可以自动编号,如 App1 已经存在,再创建的话,将会自动命名为 App2

  6. znode 可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个是 Zookeeper 的核心特性,Zookeeper 的很多功能都是基于这个特性实现的,后面在典型的应用场景中会有实例介绍


使用示例:

假设有一组服务器用于为客户端提供某种服务。我们希望每个客户端都能找到其中一台服务器,这样它们就可以使用这项服务。

有一个挑战是如何维护这组服务器的列表。这组服务器的成员列表显然不能存储在网络中的单个节点上,否则该节点的故障将意味着整个系统的故障,我们希望这个成员列表是高可用的。

我们还希望当其中一台服务器出现故障时,能够从这组服务器成员列表中删除该节点,避免提供不可用的服务。



结构化数据特征构建神器openfe的实战代码 最近订阅专栏的几位同学一起参加了AI比赛,该比赛的数据形式是结构化的。随着特征和模型的不断迭代优化,达到了一个难以跨越的瓶颈。希望我能够给出一些有效的方法,帮助他们提高成绩。在个人的调研和体验后,向他们推荐了结构化数据特征构建神器openfe,最终也帮助他们提升了十来名的成绩,个人也感到十分的欣慰。特意写此博客,希望能够帮助更多的同学。 文章目录 1. 安装 2. 实战例子一 3. 实战例子二 阅读详情

相关推荐

别再瞎猜了!三角形接法PMSM的相电流到底怎么算?实测线电流转换公式与避坑指南

本文深入解析三角形接法永磁同步电机(PMSM)在FOC控制中的相电流计算误区,提供实测线电流转换公式与避坑指南。针对矢量控制系统中常见的√3换算错误,详细阐述正确的电流重构算法、硬件采样要点及软件优化技巧,帮助工程师实现精确控制并避免电机损坏。

weixin_30367873的博客 465

**Hadoop纵览之(四)分布式应用程序协调服务工具Zookeeper**

1. 官网介绍 Welcome to Apache ZooKeeper™ 欢迎来到Apache Zookeeper的世界。 Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. Apache...

FzzF-李玉龙的博客 446

MATLAB与STK互联23:卫星对象操作(14)—仿真分析案例1,建立8个地面站,分析对卫星的可见性

学习到这里,我们有必要做个仿真分析案例,把之前我们学习的零散知识点串起来,看一下在真实的分析中怎么应用。 分析要求:建立8个地面站,分析每个地面站对某个轨道高度500km、倾角60°圆轨道的卫星,1天内的可见次数、可见弧长以及可见弧段间隔列表。 基本约束:地面站仰角8°~90°,作用距离<2000km,太阳矢量与地面站到卫星视线夹角不小于15°,可见弧段应大于30s。地面站站址可随机生成,但要求在南北纬50°范围内。 下面上代码: uiap = actxserver(‘STK11.application’)

ltylty001的博客 7490

Zookeeper-简单使用

Zookeeper-简单使用什么是ZookeeperZookeeper核心概念Zookeeper 节点类型监听通知机制命令行操作zookeeper创建节点命令获取节点命令修改节点数据命令节点状态信息查看查看目录Zookeeper 的 ACL 权限控制( Access Control List )ZooKeeper 内存数据和持久化内存中的数据事务日志数据快照 什么是Zookeeper 官方文档上这么解释zookeeper,它是一个分布式协调框架,是Apache Hadoop 的一个子项目,它主要是用来解

null_zhouximin的博客 316

内存学习(3):DRAM的基础存储结构(存储层级、读写过程,刷新与暂存)

DRAM,全称为 Dynamic Random Access Memory ,中文名是“动态随机存取存储器”。所谓“动态”是和“静态”相对应的,芯片世界里还有一种 SRAM 静态随机存取存储器的存在。笼统地说,DRAM 的结构比 SRAM 更简单,面积占用更小,适合制作大容量的存储芯片;而 SRAM 结构复杂一些,一般使用六个晶体管,面积消耗大,但是读写速度快,而且因为 SRAM 只用到晶体管,所以在工艺上和逻辑芯片相兼容,我们可以在逻辑芯片上直接集成 SRAM。

呆呆象呆呆的博客 2万+

BLE天线设计避坑:NRF52832官方50欧姆阻抗匹配的3个常见误区

本文深入解析NRF52832蓝牙SoC天线设计中的常见误区,重点探讨50欧姆阻抗匹配的3个关键问题:PCB板材介电常数差异、匹配元件寄生参数及VSWR测试。通过实测数据和优化方案,帮助工程师规避设计陷阱,提升BLE通信性能。

beer8的博客 213

【Zookeeper】Windows下安装Zookeeper(全面)

【Zookeeper】Windows下安装Zookeeper(全面)

weixin_57259781的博客 1万+

ERA5气象数据下载与解压全攻略:Python脚本一键搞定(附错误处理技巧)

本文提供了一套完整的ERA5气象数据自动化处理方案,涵盖从CDS API配置、智能批量下载到高效解压与数据验证的全流程。重点介绍了如何通过Python脚本实现一键式数据下载与批量解压,并分享了实用的错误处理技巧与性能优化策略,帮助科研人员高效获取和处理大规模气象数据。

k8l9m0n的博客 337

Zookeeper

Zookeeper笔记

panzhengxiang的博客 2326

数字通信:信源编码、信道编码、调制、物理信道、解调、信道解码、信源解码

在通信系统中,信息的传输通常需要经过一系列的处理步骤,确保数据可以在信道中高效且可靠地传输。以下是信源编码、信道编码、调制、物理信道、解调、信道解码、信源解码的具体含义及其常见技术的解释。

weixin_44012667的博客 4804

真正的工业级环形缓冲区(Circular Buffer)完整实现细节

永远不要永远不要ToArray()或AddRange()永远返回或两段Span永远用_head_tail% Capacity实现环形照着上面这套代码改,你的系统将彻底告别内存爆炸,从“实验室玩具”变成“产线战神”!需要我给你一个支持两段绘制的完整实现吗?

专注于前沿技术的探索与实践,热衷于从代码逻辑、架构设计到行业应用等多维度深挖技术本质。期待在技术之路上与你共同成长~ 127

ZooKeeper 安装完整版——ZooKeeper3.4.6

@羲凡——只为了更好的活着 ZooKeeper 安装完整版——ZooKeeper3.4.6 1.下载地址如下: https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/ 2.安装 第1步:在deptest3 机器的 /usr/local/package 目录下解压 zookeeper-3.4.6.tar.gz tar -zxf zook...

@羲凡—只为更好的活着 1万+

Cilium动手实验室: 精通之旅---1.Getting Started with Cilium

我们需要在 HTTP 层的第 7 层实施策略,以限制允许 tiefighter 调用的确切 API,以及不允许调用哪些 API。上仅需要的 API 资源的访问,从而为微服务之间的通信实施“最低权限”安全方法。船只上进行匹配,因此我们需要在该标签上进行匹配,此外,我们必须确保来自带有标签。为了模拟我们的连接测试,我们将使用 curl 执行简单的 API 调用。在我们立即开始更改策略之前,让我们考虑一下相应的网络策略应该是什么样子。的规则,该规则将通过 L3-L4 策略对死星的访问限制为仅帝国船只。

Q先生 1123

Zookeeper 和 SASL

关键字:Zookeeper 和 SASL 介绍 这是一个描述ZooKeeper和SASL(Simple Authentication and Security Layer)整合建议的设计文档。 JIRA 和 源代码 JIRA问题ZOOKEEPER-938,来自JIRA的可用补丁。 请注意:这个JIRA文章只描述了客户端-服务器的相互认证。服务器-服务器的相互认证存在单独的JIRA:Z...

赵士杰的博客 5184

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

【Zookeeper】Zookeeper入门解析

一、ZooKeeper概述 1.Zookeeper简介 (1)Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题 (2)ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群...

Together 7190

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Zookeeper【安装篇】01:Zookeeper【单机】【手动】安装部署

Zookeeper【单机】【手动】安装部署

weixin_40612128的博客 5455

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

设置Zookeeper开机自启

首先在 /etc/init.d/ 目录下创建启动文件 zookeeper: 写入内容: #!/bin/bash # chkconfig: 2345 20 90 # description: zookeeper source /etc/profile case $1 in start) su - hadoop -c "${ZOOKEEPER_HOME}/bin/zkServer.sh start" if [ "$?" = "0" ] then echo "zookeeper is r

少弋弋的专栏 1256

ZooKeeper集群安装

目录JDK安装Zookeeper集群安装 ZooKeeper(动物园管理者)简称 ZK,是一个分布式的,开放源码的分布式应用程序协调服务组件,它的应用场景如下: 1、服务注册 2、分布式锁 3、配置管理 4、集群Master 选举 安装zookeeper集群,本文环境信息说明如下:系统CentOS7IP192.168.136.128hostnamexjw128jdk版本jdk1.8.0_181zookeep

xujinwei_gingko的专栏 1365

Python Zookeeper 注册和发现服务

#!/usr/bin/env python # -*- coding: utf-8 -* import time import random import logging from kazoo.client import KazooClient from kazoo.exceptions import NodeExistsError from kazoo.client import Kazoo...

Through Da Storm 3244

zookeeper安装教程

zookeeper安装教程

m0_64825044的博客 1443

Zookeeper搭建集群

Zookeeper集群环境搭建 1.每台服务器节点上安装jdk1.8环境 使用java -version命令测试 java -version 2.每台服务器节点上安装Zookeeper 1.下载并且安装zookeeper安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...

qq_39380737的博客 2654

zookeeper 安装

安装 Hbase的Master需要zookeeper的支持,所以在集群上安装zookeeper。 将zookeeper下载解压到指定的文件夹,修改以下配置后分发到其它的节点。 修改zoo.cfg 这里主要添加了data和logs的路径以及三个服务器ip和端口 tickTime=2000 dataDir=/usr/local/zookeeper/zookeeper-3.4.5/data dataLo...

得克特 796

Apache Zookeeper :安装zookeeper步骤

前提 安装zookeeper的注意事项: 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置 下载 下载安装包、解压 下载地址: CDH版本:http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gz apache版本:https://archive.apache.o...

4886

Docker安装Zookeeper

Docker安装Zookeeper1. 创建主机挂载配置文件2. 生成启动文件 start.sh3. 运行start.sh 启动zookeeper4. 连接zookeeper 1. 创建主机挂载配置文件 [root@wanfei ~]# mkdir -p ~/i/apps/zookeeper/{logs,data} [root@wanfei ~]# cd ~/i/apps/zookeeper/ [...

wnfff的博客 1415

Zookeeper中解决zookeeper.out文件输出位置问题

使用过 Zookeeper 的小伙伴都知道,Zookeeper 中运行日志 zookeeper.out 文件的输出路径默认为启动脚本的当前路径,导致Zookeeper 集群启动失败想看日志时总是不记得输出日志在哪儿,不方便查看日志文件,所以需要修改日志输出位置及方式,方便查看日志。......

qq_45124566的博客 2720

windows10安装zookeeper-3.6.2并生成zookeeper服务

windos10安装zookeeper-3.6.2,并且注册成系统服务使用方法

weixin_41576278的博客 1782
上一篇: Java记录 -45- List的toString方法
下一篇: ZooKeeper使用入门
架构师的清醒
博客等级 码龄14年 291粉丝 397原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值