作业9：通过curator存储和读取偏移量

最新推荐文章于 2025-01-15 10:55:53 发布
最新推荐文章于 2025-01-15 10:55:53 发布
阅读量477 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 作业
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37408712/article/details/81570047
本文介绍如何使用Scala编程语言结合Curator客户端库来实现Zookeeper中偏移量的存储和读取功能。示例代码展示了依赖配置、连接设置及核心逻辑实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作业要求：以Scala代码编程，通过curator存储和读取偏移量（存储到ZK，从ZK读取）
依赖包：

//为方便展示，就不把版本号抽取出来了。
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>2.7.0</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    <version>1.8.0-alpha2</version>
</dependency>

源码：

package com.ruozedata.zk

import org.apache.curator.retry.RetryNTimes
import org.apache.curator.framework.CuratorFrameworkFactory
import scala.collection.JavaConversions._
import org.slf4j.LoggerFactory

object Curator_zk {
  private val logger = LoggerFactory.getLogger(Curator_zk.getClass)
  val OffsetPath = s"/zktest"
  val client = CuratorFrameworkFactory.newClient("192.168.137.252:2181", new RetryNTimes(10,5000))

  def main(args: Array[String]): Unit = {
    client.start()
    logger.warn("zk client status:{}",client.getState)

    val ZK_PATH = "/zktest"
//    val data1 = "hello"
//    print("create", ZK_PATH, data1)
//    client.create.creatingParentsIfNeeded.forPath(ZK_PATH, data1.getBytes)

    val offsets : Map[TopicAndPartition, Long] = Map(TopicAndPartition("web",1) ->4444, TopicAndPartition("web",2)->2222 )
    storeOffsets(offsets)

    val topicSet = Set("web")
    val offsetstoMap:Map[TopicAndPartition, Long]= obtainOffsets(topicSet,Map(TopicAndPartition("web",1) ->0))
    offsetstoMap.keySet.foreach(line=>{
      val  topicName = line.topic
      val  topicPartition = line.partition
      val data = client.getData.forPath(s"$OffsetPath/$topicName/$topicPartition")
      val offset = java.lang.Long.valueOf(new String(data)).toLong
      println("偏移量读取: "+"路径"+s"$OffsetPath/$topicName/$topicPartition"+"的值为:"+ offset)
    })
  }

//  /consumers/G301/offsetsze_offset_topic/partition/0
//  /consumers/G301/offsetsze_offset_topic/partition/1
//  /consumers/G301/offsetsze_offset_topic/partition/2

  def obtainOffsets(topicSet: Set[String], defaultOffset: Map[TopicAndPartition, Long])
  : Map[TopicAndPartition, Long] = {

    // TODO...
    val offsets = for {
      //t就是路径webstatistic/Offsets下面的子目录遍历
      t <- client.getChildren.forPath(OffsetPath)
      if topicSet.contains(t)
      //p就是新路径   /webstatistic/Offsets/donews_website
      p <- client.getChildren.forPath(s"$OffsetPath/$t")
    } yield {
      //遍历路径下面的partition中的offset
      val data = client.getData.forPath(s"$OffsetPath/$t/$p")
      //将data变成Long类型
      val offset = java.lang.Long.valueOf(new String(data)).toLong
      (TopicAndPartition(t, Integer.parseInt(p)), offset)
    }
    defaultOffset ++ offsets.toMap
  }

  case class TopicAndPartition(topic:String, partition:Int)

  def storeOffsets(offsets: Map[TopicAndPartition, Long]): Unit = {
    // TODO...
    val OffsetPath = s"/zktest"
    if (client.checkExists().forPath(OffsetPath) == null) {
      client.create().creatingParentsIfNeeded().forPath(OffsetPath)
    }
    for ((tp, offset) <- offsets) {
      val data = String.valueOf(offset).getBytes
      val path = s"$OffsetPath/${tp.topic}/${tp.partition}"
      if(client.checkExists().forPath(path) == null)
        client.create().creatingParentsIfNeeded().forPath(path)
      client.setData().forPath(path, data)
      println("偏移量储存成功")
    }
  }

}

操作结果：

[INFO ] 18-08-10 21:05:04 method:org.apache.curator.framework.imps.CuratorFrameworkImpl.start(CuratorFrameworkImpl.java:238)
Starting
[DEBUG] 18-08-10 21:05:04 method:org.apache.curator.CuratorZookeeperClient.start(CuratorZookeeperClient.java:181)
Starting
[DEBUG] 18-08-10 21:05:04 method:org.apache.curator.ConnectionState.start(ConnectionState.java:100)
Starting
[DEBUG] 18-08-10 21:05:04 method:org.apache.curator.ConnectionState.reset(ConnectionState.java:211)
reset
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:host.name=LAPTOP-UOVPHEV2.mshome.net
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.version=1.8.0_151
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.vendor=Oracle Corporation
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.home=C:\Program Files\Java\jdk1.8.0_151\jre
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.class.path=C:\Program Files\Java\jdk1.8.0_151\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_151\jre\lib\rt.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\IDEA_workspace\ZKhomework\target\classes;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\scala-lang\scala-library\2.11.8\scala-library-2.11.8.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\apache\curator\curator-recipes\2.7.0\curator-recipes-2.7.0.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\apache\curator\curator-framework\2.7.0\curator-framework-2.7.0.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\apache\curator\curator-client\2.7.0\curator-client-2.7.0.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\apache\zookeeper\zookeeper\3.4.6\zookeeper-3.4.6.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\jline\jline\0.9.94\jline-0.9.94.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\io\netty\netty\3.7.0.Final\netty-3.7.0.Final.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\com\google\guava\guava\16.0.1\guava-16.0.1.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\slf4j\slf4j-log4j12\1.8.0-alpha2\slf4j-log4j12-1.8.0-alpha2.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\org\slf4j\slf4j-api\1.8.0-alpha2\slf4j-api-1.8.0-alpha2.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\apache-maven-3.3.9\log4j\log4j\1.2.17\log4j-1.2.17.jar;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\IntelliJ IDEA 2018.1.6\lib\idea_rt.jar
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.library.path=C:\Program Files\Java\jdk1.8.0_151\bin;C:\WINDOWS\Sun\Java\bin;C:\WINDOWS\system32;C:\WINDOWS;%ANDROID_SDK_HOME%\platform-tools;%ANDROID_SDK_HOME%\tools;C:\Program Files\Java\jdk1.8.0_151\bin;C:\Program Files\Java\jdk1.8.0_151\jre\bin;C:\windows\system32;C:\windows;C:\windows\System32\Wbem;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common;G:\eclipse\android-sdk-windows\platform-tools;C:\Android;C:\Windows\System32;C:\Program Files (x86)\Microsoft SQL Server\100\Tools\Binn\;C:\Program Files\Microsoft SQL Server\100\Tools\Binn\;C:\Program Files\Microsoft SQL Server\100\DTS\Binn\;C:\Program Files (x86)\Microsoft SQL Server\100\Tools\Binn\VSShell\Common7\IDE\;C:\Program Files (x86)\Microsoft Visual Studio 9.0\Common7\IDE\PrivateAssemblies\;C:\Program Files (x86)\Microsoft SQL Server\100\DTS\Binn\;C:\WINDOWS\system32;C:\WINDOWS;C:\WINDOWS\System32\Wbem;C:\WINDOWS\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\WiFi\bin\;C:\Program Files\Common Files\Intel\WirelessCommon\;G:\git\Git\cmd;C:\WINDOWS\System32\OpenSSH\;G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\Git\Git\cmd;C:\Program Files\TortoiseGit\bin;C:\Program Files\Microsoft VS Code\bin;G:\bigdata\software\Anaconda3;G:\bigdata\software\Anaconda3\Library\mingw-w64\bin;G:\bigdata\software\Anaconda3\Library\usr\bin;G:\bigdata\software\Anaconda3\Library\bin;G:\bigdata\software\Anaconda3\Scripts;D:\vc++6.0\Tools\WinNT;D:\vc++6.0\MSDev98\Bin;D:\vc++6.0\Tools;D:\公用\bin;C:\Users\\AppData\Local\Microsoft\WindowsApps;c:\Program Files\Intel\WiFi\bin\;c:\Program Files\Common Files\Intel\WirelessCommon\;.
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.io.tmpdir=C:\Users\\AppData\Local\Temp\
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:java.compiler=<NA>
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:os.name=Windows 10
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:os.arch=amd64
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:os.version=10.0
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:user.name=
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:user.home=C:\Users\
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.Environment.logEnv(Environment.java:100)
Client environment:user.dir=G:\bigdata\[201805发布版]若泽数据-零基础大数据第4期\软件\IDEA_workspace\ZKhomework
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.ZooKeeper.<init>(ZooKeeper.java:438)
Initiating client connection, connectString=192.168.137.252:2181 sessionTimeout=60000 watcher=org.apache.curator.ConnectionState@9a7504c
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn.<clinit>(ClientCnxn.java:102)
zookeeper.disableAutoWatchReset is false
[WARN ] 18-08-10 21:05:04 method:com.ruozedata.zk.Curator_zk$.main(Curator_zk.scala:15)
zk client status:STARTED
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.logStartConnect(ClientCnxn.java:975)
Opening socket connection to server 192.168.137.252/192.168.137.252:2181. Will not attempt to authenticate using SASL (unknown error)
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.primeConnection(ClientCnxn.java:852)
Socket connection established to 192.168.137.252/192.168.137.252:2181, initiating session
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.primeConnection(ClientCnxn.java:892)
Session establishment request sent on 192.168.137.252/192.168.137.252:2181
[INFO ] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.onConnected(ClientCnxn.java:1235)
Session establishment complete on server 192.168.137.252/192.168.137.252:2181, sessionid = 0x16523e29171000b, negotiated timeout = 40000
[INFO ] 18-08-10 21:05:04 method:org.apache.curator.framework.state.ConnectionStateManager.postState(ConnectionStateManager.java:228)
State change: CONNECTED
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 1,3  replyHeader:: 1,132,0  request:: '/zktest,F  response:: s{5,5,1533809972887,1533809972887,0,1,0,0,5,1,9} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 2,3  replyHeader:: 2,132,0  request:: '/zktest/web/1,F  response:: s{10,130,1533811066879,1533906283086,30,0,0,0,4,0,10} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 3,5  replyHeader:: 3,133,0  request:: '/zktest/web/1,#34343434,-1  response:: s{10,133,1533811066879,1533906304146,31,0,0,0,4,0,10} 
偏移量储存成功
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 4,3  replyHeader:: 4,133,0  request:: '/zktest/web/2,F  response:: s{12,131,1533811066888,1533906283092,30,0,0,0,4,0,12} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 5,5  replyHeader:: 5,134,0  request:: '/zktest/web/2,#32323232,-1  response:: s{12,134,1533811066888,1533906304152,31,0,0,0,4,0,12} 
偏移量储存成功
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 6,12  replyHeader:: 6,134,0  request:: '/zktest,F  response:: v{'web},s{5,5,1533809972887,1533809972887,0,1,0,0,5,1,9} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 7,12  replyHeader:: 7,134,0  request:: '/zktest/web,F  response:: v{'1,'2},s{9,9,1533811066877,1533811066877,0,2,0,0,0,2,12} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 8,4  replyHeader:: 8,134,0  request:: '/zktest/web/1,F  response:: #34343434,s{10,133,1533811066879,1533906304146,31,0,0,0,4,0,10} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 9,4  replyHeader:: 9,134,0  request:: '/zktest/web/2,F  response:: #32323232,s{12,134,1533811066888,1533906304152,31,0,0,0,4,0,12} 
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 10,4  replyHeader:: 10,134,0  request:: '/zktest/web/1,F  response:: #34343434,s{10,133,1533811066879,1533906304146,31,0,0,0,4,0,10} 
偏移量读取: 路径/zktest/web/1的值为:4444
[DEBUG] 18-08-10 21:05:04 method:org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:818)
Reading reply sessionid:0x16523e29171000b, packet:: clientPath:null serverPath:null finished:false header:: 11,4  replyHeader:: 11,134,0  request:: '/zktest/web/2,F  response:: #32323232,s{12,134,1533811066888,1533906304152,31,0,0,0,4,0,12} 
偏移量读取: 路径/zktest/web/2的值为:2222

flink-kafka-mysql【flink消费kafka外部存储kafka偏移量，并满足事务机制】
初学者
08-29 2144
flink-kafka-mysql【事务，外部管理偏移量】 有时候，因为业务的需要，我们需要保证端到端的语义一致性。那么，如果我们将kafka的偏移量外存，再辅以事务机制，即可做到端到端的语义一致性。（当然，如果可能的话，我们只需要保证min等性，也不需要这么麻烦。） 话不多说，直接上案例。 首先，需要建立一张student表，以及kafka偏移量的表。 CREATE TABLE `kafka` ...
《Kafka系列》kafka伪分布式安装、脚本管理、偏移量管理
https://blog.datasource.space
01-12 1526
Kafka伪分布式安装，开发脚本管理Kafka服务，Zookeeper管理偏移量，Hbase管理偏移量
Zookeeper和Curator-Framework实践系列之： 配置管理
gavin5033的博客
12-18 575
Curator-Framework开源Zookeeper快速开发框架介绍     在使用ZK开发时会遇到让人头疼的几个问题，ZK连接管理、SESSION失效等一些异常问题的处理，Curator替我们解决了这些问题，通过对ZK连接状态的监控来做出相应的重连等操作，并触发事件！ 更好的地方是Curator对ZK的一些应用场景提供了非常好的实现，而且有很多扩充，这些都符合ZK使用规范。 主要...
SpringBoot与Zookeeper
百世经纶『一页書』
04-01 2241
SpringBoot与Zookeeper
【分布式技术专题】「Zookeeper中间件」给大家学习一下Zookeeper的”开发伴侣”—Curator-Framework（基础篇）
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
11-26 5114
CuratorFramework是Netflix公司开源的一套Zookeeper客户端框架，它作为一款优秀的ZooKeeper客户端开源工具，主要提供了对客户端到服务的连接管理和连接重试机制，以及一些扩展功能，它解决了很多ZooKeeper客户端非常底层的细节开发工作
ZooKeeper ACL 权限控制机制? 思维导图 代码示例（java 架构)
qq_33240556的博客
01-15 1265
定义访问控制列表，指定谁可以在 ZooKeeper 中执行哪些操作目的实现对 ZooKeeper 数据节点的安全保护特点精细粒度：可以为每个 ZNode 单独设置 ACL灵活多样的认证方式。
Curator连接状态源码浅析
liubaoquan_java的专栏
03-15 6836
Curator zookeeper
kafka管理offset方式之使用外部存储保存offset
murphyZ的博客
03-06 2890
1、Kafka Offset 管理–Checkpoint 启用Spark Streaming的checkpoint是存储偏移量最简单的方法。 流式checkpoint专门用于保存应用程序的状态， 比如保存在HDFS上， 在故障时能恢复。 Spark Streaming的checkpoint无法跨越应用程序进行恢复。 Spark 升级也将导致无法恢复。 在关键生产应用， 不建议使用spark检查点...
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
09-02 936
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
spark streaming 和zookeeper
最新发布
03-25
- **偏移量管理**：在早期版本的Spark Streaming与Kafka集成时，消费者偏移量常通过ZooKeeper存储（例如`KafkaUtils.createStream`）[^4]。例如： ```scala val kafkaParams = Map("zookeeper.connect" -> "zk_...
curator使用指南
靠脑袋是真滴记不住啊！！！！！！！！
04-28 1241
1.连接zookeeper服务端 CuratorFramework zkClient = CuratorFrameworkFactory.newClient(hostPort,new RetryNTimes(10,1000)); 删除节点 String res = zkClient.delete().forPath("/temp") 删除成功返回null 删除失败抛异常 3.创建节点 S...
关于Curator学习过程问题
热门推荐
xiaojiahao_kevin的博客
04-20 2万+
今天在学习Curator框架，查询了很多别人的例子照写都报错。然后上Curator（http://curator.apache.org/index.html）官网去看example，还是不行，一直报这个错。百思不得其解。 18:08:45.069 [main] WARN o.a.c.retry.ExponentialBackoffRetry - maxRetries too lar
curator源码（一） 初始化、启动和关闭。
大萌小路
12-24 1万+
curator（一） 启动初始化 Apache curator框架是zookeeper客户端框架， 初始化定义 第一种直接调用CuratorFrameworkFactory的newClient方法 /** * 创建客户端 * @param connectString zk地址 * @param sessionTimeoutMs s
zookeeper开源客户端Curator典型应用场景之-分布式锁(九)
这个名字想了很久
09-28 3085
原文地址，转载请注明出处：&amp;nbsp;https://blog.youkuaiyun.com/qq_34021712/article/details/82878396&amp;nbsp;&amp;nbsp; &amp;nbsp;&amp;nbsp;©王赛超&amp;nbsp; 在分布式环境中，为了保证数据的一致性，经常在程序的某个运行点(例如，减库存操作或者流水号生成等)需要进行同步控制。以一个&quot;流水号生成&quot;的场景为例，普通的
zookeeper输出大量debug日志原因分析
珺珺去哪儿
06-02 1万+
今天无意中发现线上tomcat的catalina.out文件输出大量的zookeeper debug信息，以下是日志片段： 10:30:03.973 [localhost-startStop-1-SendThread(10.168.180.94:2181)] DEBUG org.apache.zookeeper.ClientCnxn – Reading reply sessionid:0x2
如何使用Curator监听zookeeper事件变化
三劫散仙
09-26 754
掌握zookeeper事件监听机制，非常重要，可以说是跨入了进阶的门槛，只有掌握了如何监听某个节点或路径，我们才能在节点变化后，做一些我们想做的事，包括： 1，配置文件同步 2，主从切换 3，分布式队列 4，分布式锁 5，其他 散仙，在以前的文章里面有写过使用zookeeper原生的api，监听zk节点变化，那么本篇我们就来看下，如何使用curator来完成监听，代码如下： [c...
用zookeeper体验监听服务器是否还活着
howard789的博客
08-09 3187
丛网络上及视频里学习的代码稍微改编了一下, 配合自己的情况(三台zookeeper 虚拟机) ,模拟server挂掉后客户端得到的通知情况.  步骤 1. 启动三个Server的线程分别代表三台Server, 每个线程对应一台Server 2. 启动客户端,可以启动许多个,也可以只启动一个 3. 将一台Server 断线(在控制台用root账户执行shutdown now ),然后重新启动
深入浅出：使用Curator实现Zookeeper的监听与分布式锁
通过使用Curator，我们可以方便地实现节点监听和分布式锁等复杂操作。掌握这些知识对于开发可靠的分布式系统至关重要。同时，设置正确的开发环境也是开发过程中不可或缺的一步，它能够帮助开发者高效地编写和测试...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值