数据库修仙筑基篇四——zookeeper主备集群demo

基于zookeeper实现服务节点HA主备自动切换 zookeeper实现服务节点HA主备自动切换 1主多从模式 ZooKeeper实现高可用 主备模式自动切换 基于SpringBoot2.5.6、SpringFrameWork5.3.12、JDK8 阅读详情

zookeeper主备集群demo

使用zookeeper搭建主备集群,要求实现如下功能:

  • 有且只有一个节点作为master,履行master的职责,在例子中是注册调度器;
  • 其他实例作为slave,不提供调度功能,但是在master节点挂掉之后,可以重新进行选主调度。

kazoo

搭建好zookeeper后,需要使用zookeeper 客户端来连接zookeeper,并在zookeeper中写入相关信息。本次测试demo使用python编写,因而使用zookeeper的python客户端来kazoo来与zookeeper进行通信。

kazoo的安装流程如下:

pip install kazoo

也可以从github上下载源码进行安装,

git clone https://github.com/python-zk/kazoo.git
cd kazoo
python3 setup.py install

zookeeper部署

使用两台机器部署zookeeper,部署过程如下:

  • 安装openjdk并设置JAVA_HOME

    sudo apt-get install openjdk-8-jdk
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    
  • 下载zookeeper

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz
    

    注意:下载时需下载带bin的包,否则会在启动时报找不到主类的错。

  • 安装zookeeper

    cd /opt
    tar -xvf apache-zookeeper-3.6.3-bin.tar.gz
    export ZOOKEEPER_HOME=/opt/apache-zookeeper-3.6.3-bin
    export PATH=$PATH:$ZOOKEEPER_HOME/bin
    
  • 配置zookeeper

    cd /opt
    mkdir data
    mkdir logs
    cd /opt/apache-zookeeper-3.6.3-bin/conf
    vim zoo.cfg
    

    zoo.cfg的文件内容如下:

    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/opt/data
    dataLogDir=/opt/logs
    clientPort=2181
    server.1=ip1:2888:3888
    server.2=ip2:2888:3888
    

    给每台zookeeper分配id:

    # 对节点1执行
    echo "1" >> /opt/data/myid
    # 对节点2执行
    echo "2" >> /opt/data/myid
    
  • 启动

    cd /opt/apache-zookeeper-3.6.3-bin/bin
    ./zkServer.sh start
    
  • 查看状态

    cd /opt/apache-zookeeper-3.6.3-bin/bin
    ./zkServer.sh status
    
  • 连接服务端

    cd /opt/apache-zookeeper-3.6.3-bin/bin
    ./zkCli.sh -server ip1:2181
    

demo执行

demo代码run.py如下:

# -*- coding:utf-8 -*-

import socket
import traceback
import time
from kazoo.client import KazooClient
from kazoo.client import KazooState

# 调度器注册和关闭
# 模拟主节点的职责
class MyScheduler(object):

    # 注册调度器
    def init_scheduler(self):
        print('########## 开启调度器成功 ############')

    # 关闭调度器
    def stop_scheduler(self):
        print('########## 关闭调度器成功 ############')

class HAMaster(object):

    def __init__(self):
        self.path = '/dmonitor/master'
        self.scheduler = MyScheduler()
        #self.zk = KazooClient('localhost:2181,10.93.18.34:2181,10.93.18.35:2181', timeout=10)
        self.zk = KazooClient('localhost:2181', timeout=10)
        self.zk.start()
        self.zk.add_listener(self.my_listener)
        self.is_leader = False

    def create_instance(self):
        instance = self.path + '/' + socket.gethostbyname(socket.gethostname()) + '-'
        self.zk.create(path=instance, value=b"test", ephemeral=True, sequence=True, makepath=True)

    # 选主逻辑: master节点下, 所有ephemeral+sequence类型的节点中, 编号最大的获得领导权.
    def choose_master(self):
        print("########## 选主开始 ############")
        instance_list = self.zk.get_children(path=self.path, watch=self.my_watcher)
        instance = max(instance_list).split('-')[0]
        # 本实例获得领导权
        if instance == socket.gethostbyname(socket.gethostname()):
            if not self.is_leader:
                self.scheduler.init_scheduler()
                self.is_leader = True
                print("######### 我被选为master, 我以前不是master, 注册调度 ##########")
            else:
                print("######### 我被选为master, 我以前是master, 不再注册调度 ##########")
        # 本实例没有获得领导权
        else:
            if self.is_leader:
                self.scheduler.stop_scheduler()
                self.is_leader = False
                print("######### 我被选为slave, 我以前不是slave, 关闭调度 ##########")
            else:
                print("######### 我被选为slave, 我以前是slave, 不再关闭调度 ##########")
        print("########## 选主完成 ############")

    def my_listener(self, state):
        if state == KazooState.LOST:
            print("########## 会话超时:KazooState.LOST ############")
            while True:
                try:
                    self.create_instance()
                    self.zk.get_children(path=self.path, watch=self.my_watcher)
                    print("########## 会话超时:重建会话完成! ############")
                    break
                except (Exception, _):
                    traceback.print_exc()
        elif state == KazooState.SUSPENDED:
            print("########## 会话超时:KazooState.SUSPENDED ############")
        elif state == KazooState.CONNECTED:
            print("########## 会话超时:KazooState.CONNECTED ############")
        else:
            print("########## 会话超时:非法状态 ############")

    def my_watcher(self, event):
        if event.state == "CONNECTED" and event.type == "CREATED" or event.type == "DELETED" or event.type == "CHANGED" or event.type == "CHILD":
            print("########## 监听到子节点变化事件 ############")
            self.choose_master()
        else:
            print("########## 监听到未识别的事件 ############")

def run():
    ha = HAMaster()
    # 向zk注册自己
    ha.create_instance()
    # 进行选主
    ha.choose_master()

    while 1:
        time.sleep(10)

if __name__ == "__main__":
    run()

demo模拟一个调度器的服务,且同一时刻仅有一个master节点在提供调度服务。

  • 当有新节点加入时,自动成为备节点,仅作为备份,不提供服务
  • 当master节点挂掉时,选择一个备节点,提升为主节点

在部署好zookeeper后,分别在各节点上执行如下命令模拟主备集群启动:

python3 run.py

注册服务的大致流程如下:

  1. 首先服务启动时会先向zookeeper注册,注册会在/dmonitor/master/下创建节点,命名方式为本机ip和zookeeper生成的sequence,并用“-”连接,如127.0.1.1-0000000001;
  2. 在/dmonitor/master/下创建的节点为临时节点,当与zookeeper相连的客户端断开时,其对应的节点也会被删除,其他调度服务通过watch感知节点变化;
  3. 每个加入的服务注册好节点后就会进行选master选择,然后根据名称中sequence大的选为master;
  4. 同时,每个调度服务都会对/dmonitor/master/下面的节点设置watch,当其下的节点发生变化时,会重新进入选master的阶段;

模拟主备集群

未启动调度服务时zookeeper的znode信息如下:

[zk: localhost:2181(CONNECTED) 1] ls /
[my, zookeeper]

启动主节点调度服务

首先启动节点1的调度服务,其执行结果如下:

ha@machine1:~/code/kazoo_test$ python3 run.py
########## 选主开始 ############
########## 开启调度器成功 ############
######### 我被选为master, 我以前不是master, 注册调度 ##########
########## 选主完成 ############

当只有一个节点有调度服务时,节点1的调度服务被选为主节点。此时再来查看zookeeper的znode信息,可以看到znode多了存储master信息的节点:

[zk: localhost:2181(CONNECTED) 0] ls /
[dmonitor, my, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /dmonitor/master
[192.168.145.131-0000000000]
[zk: localhost:2181(CONNECTED) 2] get /dmonitor/master/192.168.145.131-0000000000
test

可以看到/dmonitor/master节点下面存储了成为主服务的ip信息,此时master为192.168.145.131。

启动备节点调度服务

接着我们在节点2上启动调度服务,同样执行:

python3 run.py

其执行结果如下,因为已经存在master了,所以成为slaver服务。

ha@machine2:~/code/kazoo_test$ python3 run.py
########## 选主开始 ############
######### 我被选为slave, 我以前是slave, 不再关闭调度 ##########
########## 选主完成 ############

同时因为master设置对/dmonitor/maste的watch,因而当新节点插入时,也会进入选master的阶段。

ha@machine1:~/code/kazoo_test$ python3 run.py
########## 选主开始 ############
########## 开启调度器成功 ############
######### 我被选为master, 我以前不是master, 注册调度 ##########
########## 选主完成 ############
########## 监听到子节点变化事件 ############
########## 选主开始 ############
######### 我被选为master, 我以前是master, 不再注册调度 ##########
########## 选主完成 ############

但此时master不变,仍然为192.168.145.131。

此时查看zookeeper的znode,结果如下所示:

[zk: localhost:2181(CONNECTED) 2] ls /dmonitor/master
[192.168.145.130-0000000001, 192.168.145.131-0000000000]

可以看到/dmonitor/master当前有两个ip信息。

主备切换

模拟master服务器挂掉

主备调度服务起来后,我们模拟主备切换的过程。当前的master为192.168.145.131,停掉该机器上的调度服务,查看192.168.145.130是否能升master。

可以看到,成功升级成为master,日志如下:

ha@machine2:~/code/kazoo_test$ python3 run.py
########## 选主开始 ############
######### 我被选为slave, 我以前是slave, 不再关闭调度 ##########
########## 选主完成 ############
########## 监听到子节点变化事件 ############
########## 选主开始 ############
########## 开启调度器成功 ############
######### 我被选为master, 我以前不是master, 注册调度 ##########
########## 选主完成 ############

在查看zookeeper的znode信息,

[zk: localhost:2181(CONNECTED) 10] ls /dmonitor/master
[192.168.145.130-0000000001]

可以看到192.168.145.131的信息已经从zookeeper中删除了,此时192.168.145.130机器的调度服务升级为master。

重启master服务器

master从192.168.145.131切换为192.168.145.130后,我们再重启192.168.145.131的调度服务。

在192.168.145.130机器可以看到192.168.145.130从master重新切换为slaver。

ha@machine2:~/code/kazoo_test$ python3 run.py
########## 选主开始 ############
######### 我被选为slave, 我以前是slave, 不再关闭调度 ##########
########## 选主完成 ############
########## 监听到子节点变化事件 ############
########## 选主开始 ############
########## 开启调度器成功 ############
######### 我被选为master, 我以前不是master, 注册调度 ##########
########## 选主完成 ############
########## 监听到子节点变化事件 ############
########## 选主开始 ############
########## 关闭调度器成功 ############
######### 我被选为slave, 我以前不是slave, 关闭调度 ##########
########## 选主完成 ############

而新启动的192.168.145.131则直接成为master。

ha@machine1:~/code/kazoo_test$ python3 run.py
########## 选主开始 ############
########## 开启调度器成功 ############
######### 我被选为master, 我以前不是master, 注册调度 ##########
########## 选主完成 ###########

查看zookeeper的znode信息,可以看到ip信息已更新。

[zk: localhost:2181(CONNECTED) 11] ls /dmonitor/master
[192.168.145.130-0000000001, 192.168.145.131-0000000002]

reference

  1. https://cloud.tencent.com/developer/article/1050471
zookeeperDemo zookeeperDemo zookeeper节点操作 zookeeper节点操作 节点创建,删除,遍历 节点数据读写 节点类型 节点类型 持久节点 PERSISTENT 持久顺序节点 PERSISTENT_SEQUENTIAL 临时节点 EPHEMERAL 临时顺序节点 EPHEMERAL_SEQUENTIAL Curator zookeeper 实现分布式锁 原理 临时顺序节点 实例代码 关于版本问题 Curator zookeeper 实现分布式锁 原理 每个JVM使用同一个客户端实例,客户端实例对某个方法加锁的时候, zookeeper对应节点下生成一个唯一的临时顺序节点,如果是序号最小的,则获得锁,释放锁的时候删除节点。 怠机的时候临时节点会自动删除,不会有死锁。 临时顺序节点 如图是调试过程中 在zookeeper中生成用于判断锁的临时顺序节点 关于版本问题 Cur 立即下载

相关推荐

不用Root也能抓包?Android高版本HTTPS抓包的3种替代方案(含Charles技巧)

本文针对Android高版本HTTPS抓包难题,提供了三种无需Root权限的实战解决方案:利用VirtualXposed等虚拟沙盒环境、配置Postern等系统级代理工具,以及通过修改应用源码或网络安全配置。文章还详细解析了Charles抓包工具在非Root环境下的高级配置与排错技巧,帮助开发者在遵守安全规范的前提下,有效进行网络调试与监控。

http9protocoller的博客 648

java zookeeper demo_zookeeper的使用demo(c#/java)

Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。● 通过C#代码使用zookeeperZookeeper的使用主要是通过创建其Nuget ...

weixin_42382398的博客 403

深入解析Sigma Delta调制器 —— 从电流采样到数字信号处理的完整链路

本文深入解析了Sigma Delta调制器的工作原理与应用。通过剖析过采样、噪声整形与负反馈核心机制,并结合AMC1306等实例,详细阐述了从电流采样到数字信号处理的完整链路。该技术凭借其高精度和高抗干扰能力,在ADC、电流测量及音频处理等领域发挥着关键作用。

ttt77的博客 647

简单使用 ZooKeeper 实现集群主备切换

昨天晚上看了一篇博客,作者实现了一个分布式的调度框架,其中支持两种集群模式,其中一种就是主备模式,是基于 ZooKeeper 实现的,这也是 ZooKeeper 很常见的应用场景,还没来得及看具体细节就去处理了一个线上问题,今天一直找不到那个博客链接。今天就尝试自己实现一下,本文会介绍两种实现方式(总体思想一致,部分细节有所差别)。 这种主备模式首先需要从集群中选出 Master 节点,然后剩余节...

【欢迎关注公众号:冬瓜白】 5657

别再死记硬背Payload了!深入理解Flask/Jinja2 SSTI的Python对象继承链与魔术方法

本文深入解析Flask/Jinja2 SSTI漏洞的底层原理,从Python对象模型出发,详细讲解如何通过魔术方法链实现RCE。文章揭示了Python对象继承链与魔术方法的精妙设计,提供了防御与绕过SSTI漏洞的实用技巧,帮助开发者深入理解漏洞本质并采取有效防护措施。

weixin_42525738的博客 356

SMR实战指南:从GWAS数据到eQTL分析的完整流程

本文提供了基于汇总数据的孟德尔随机化(SMR)实战指南,详细解析了如何从GWAS汇总数据出发,整合eQTL数据,完成从数据准备、BESD格式转换到最终SMR与HEIDI分析的完整流程。文章重点阐述了核心操作步骤、常见避坑技巧与结果解读,旨在帮助遗传学研究者高效掌握这一分析基因表达与复杂性状潜在因果关系的强大工具。

weixin_29246195的博客 1074

Zookeeper概述

转载https://www.w3cschool.cn/zookeeper/zookeeper_overview.html zookeeper概述 zookeeper是一种分布式协调服务,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。 zookeeper通过其简单的架构和api解决了这个问题。zookeeper允许开发人员专注于核心应用程序逻辑,而 不必担心应用程序的分布式特性。 zookeeper构架最初是在 yahoo! 上构建的,用于以简单而稳健的方式访问他们的应用程序。后来apach

weixin_53370274的博客 375

103:vue+cesium 设置球体水部分颜色为黄色

本示例在 Vue + cesium 项目中设置球体水部分颜色为黄色。这里的操作是将球体内部设置为空的,在地球内部添加一个黄色的圆球,这样水的部分就被突出出来了。直接复制下面的 vue+cesium源代码,操作2分钟即可运行实现效果.

大剑师兰特的GIS世界 626

Zookeeper入门demo1

package cn.test; import org.apache.curator.RetryPolicy; import org.apache.curator.framework.CuratorFramework; import org.apache.curator.framework.CuratorFrameworkFactory; import org.apache.curator.framework.recipes.cache.ChildData; import org.apache.curat

不善言谈者 403

lammps教程:官方自带eam_database程序拟合EAM势方法介绍

使用lammps模拟金属体系,最常用的势函数为eam、meam势。 对于大多数金属或者合金来说,可以从网上下载相对应的eam或meam势力场文件。 而对于一些新的合金材料,可能就找不到相对应的力场文件。 解决的方法有两种,一是采用混合势(pair_style hybrid),第二种方法是自己拟合势函数文件。 混合势的写法在前面文章中已经介绍过,本文介绍一种拟合EAM势的方法。 该方法是运行Xiaowang Zhou编写的一个拟合程序,该程序可自动生成所需要的合金势。 这个程序能够拟合的合金元素有: Cu,

lammps_jiayou的博客 4619

基于ESP32的智能健康监测系统开发

本文介绍了如何基于ESP32开发智能健康监测系统,从硬件选型、系统架构到软件实现的每一个环节。通过ESP32的Wi-Fi功能、传感器模块和云平台的结合,我们实现了实时健康数据监测、远程查看、报警等功能。系统的低功耗特性使得其适用于长期健康监测,能够为用户提供更便捷的健康管理方案。随着技术的不断发展,未来智能健康监测系统将进一步发展。例如,增加更多的传感器,提升数据分析能力,甚至通过人工智能算法来预测用户的健康趋势,为用户提供个性化的健康建议。

2201_76125393的博客 1106

Zookeeper:实现“命名服务”的 Demo

命名服务是分步实现系统中较为常见的一类场景,分布式系统中,被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等,通过命名服务,客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper 也可帮助应用系统通过资源引用的方式来实现对资源的定位和使用,广义上的命名服务的资源定位都不是真正意义上的实体资源,在分布式环境中,上层应用仅仅需要一个全局唯一的名字。Zookeeper 可以实现一套分布式全局唯一 ID 的分配机制。

栗筝i的博客 4567

【Python百日进阶-Web开发-Feffery】Day385 -“一起Dash”训练营Lesson-07_利用fac构建表单(上)

文章目录前言:fac是什么?“人生苦短,我用Python;Web开发,首选Feffery!”↓↓↓ 今日笔记 ↓↓↓一、费老师课堂1.1 什么是表单1.2 页面效果1.3 课堂源码二、课后作业2.1 页面效果2.2 项目源码 前言:fac是什么? feffery-antd-components(简称fac),是国内大佬费弗里(Feffery)老师基于著名的React UI组件库ant design进行二次开发,将ant design中的诸多实用组件及特性引入Dash,帮助开发者使用极低的纯Python代

专注于医院数据分析技术与系统开发的创作与分享。 253

ZooKeeper概念详解,最全整理

相信大家对 ZooKeeper 应该不算陌生,但是你真的了解 ZooKeeper 是什么吗?如果别人/面试官让你讲讲 ZooKeeper 是什么,你能回答到哪个地步呢? 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心,另外在搭建 Solr 集群的时候,我使用到了 ZooKeeper 作为 Solr 集群的管理工具。 前几天,总结项目经验的时候,我突然问自己 ZooKeepe...

春风化雨 9万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Zookeeper介绍及简单配置

1.  Zookeeper概念简介: Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) C、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… D、虽然说可以提

xiangjai的专栏 1091

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

ZooKeeper和Hadoop高可用(主备切换)

本文主要介绍Zookeeper的概述、集群环境、客户端操作、节点类型、特征、监听机制、集群选举及Hadoop高可用服务的概述。

m0_63845988的博客 1683

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

zookeeper 主备切换方案实现分布式锁

zookeeper 实现主备切换方案 点关注不迷路,欢迎再访! 精简博客内容,尽量已行业术语来分享。 努力做到对每一位认可自己的读者负责。 帮助别人的同时更是丰富自己的良机。 目录zookeeper 实现主备切换方案一、原理介绍二.引入依赖三.实现代码3.1定义Zookeeper客户端基本配置3.2定义Zookeeper客户端基本配置3.3 启动 LeaderSelector 选主监听3.4编写自动任务测试3.5 application.propertiesZK 客户端参数配置四.测试APP1

最初的节奏 2612

Zookeeper:实现“分布式锁”的 Demo_zookeeper实现分布式锁demo(2)

@throws KeeperException ZooKeeper异常。* @throws KeeperException ZooKeeper异常。* @throws InterruptedException 中断异常。* @throws InterruptedException 中断异常。* @param path 节点地址。* @param value 数据值。* @param path 节点地址。* 开启的线程数,模拟多客户端操作。* @return 所有子节点。

2401_84185182的博客 510

使用zookeeper一个简单分布式demo

zookeeper是一个提供分布式程序协调服务的应用,它的命名空间类似linux系统文件路径等等。 具体描述可以参考官网 https://zookeeper.apache.org/doc/trunk/zookeeperOver.html本文将描述如何借助zookeeper构建一个简单的任务发布运行应用,使用curator。(我也是刚接触zk,如有不对的地方希望指出.谢谢)设计我将任务发布部分作为se

laomei 3351

zookeeper分布式锁demo

zookeeper分布式锁demo

qq_41683000的博客 714

基于zookeeper的主备服务

为了高可用通产我们一个服务会部署多节点。但是有时我们希望对某些操作要求单线程处理,此时可以通过主备服务形式实现。正常情况下主节点服务处理,当主节点宕机后备用节点相关服务继续处理。

一张小羊毛的博客 4879

ZooKeeper笔记,深入浅出ZooKeeper原理、paxos算法、ZAB协议,涵盖集群搭建和管理

本文围绕 Zookeeper 展开,详细阐述了其核心概念与特性。介绍了 Zookeeper 在分布式系统中的重要作用,如数据一致性保障、分布式协调等。深入探讨了其工作原理,包括 ZAB 协议的运行机制。还涵盖了 Zookeeper 的应用场景,如服务注册与发现、配置管理等。同时,提及了相关的实践要点与注意事项,为读者全面理解和应用 Zookeeper 提供了有价值的参考。

m0_63924864的博客 2500

一文看懂 ZooKeeper ,面试再也不用背八股

ZooKeeper知识点总结 一、ZooKeeper 的工作机制 二、ZooKeeper 中的 ZAB 协议 三、数据模型与** 四、ZooKeeper 的选举机制和流程 本文将以如下内容为主线讲解ZooKeeper中的学习重点,包括 ZooKeeper 中的角色、ZAB协议、数据模型、选举机制、**原理以及应用场景等。会对相关的面试题或开发中常见内容,进行重点讲解。 接下来将带领大家入门学习 ZooKeeper 系列的内容,力求通俗易懂,图文并茂。 一、ZooKeeper 的工作机制.

wadfdhsajd的博客 187

ZooKeeper主备切换机制详解

ZooKeeper 的主备切换(Failover)机制主要通过其分布式协调能力和临时节点(Ephemeral Nodes)特性实现。通过上述机制,ZooKeeper能在秒级(取决于会话超时时间)内完成主备切换,实现高可用性。

ITHomeZSL的博客 605

Java操作Zookeeper(原生API详解,带demo)

有节点返回上面的数据,否则就是返回null。

qq_41273137的博客 1634

Hadoop,ZooKeeper,Hive,HBase,VMware,FinalShell,JDK关系

本文以“双十一”电商订单处理为例,系统阐述了大数据平台从底层到顶层的协同机制:VMware构建虚拟集群,FinalShell实现远程连接,JDK提供运行基础;Hadoop(HDFS、YARN、MapReduce)负责分布式存储与计算;ZooKeeper保障集群高可用;Hive通过SQL简化分析,HBase实现海量数据实时读写。全链路演示了从数据上传、存储、分析到查询验证的完整流程,强调Hive与HBase均依赖HDFS存数,元数据由MariaDB管理,揭示了各组件间紧密协作的技术逻辑。

记录大学学习学习成长过程,欢迎各位一起交流 804
上一篇: 数据库修仙秘境篇九——autoconf使用
下一篇: 数据库修仙筑基篇一——常用分布式解决方案
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我在数据库世界里修仙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值