zk系列-c++下zookeeper使用实例

本文介绍了如何使用ZooKeeper实现服务发现与集群管理。通过示例代码详细展示了服务端如何注册服务及客户端如何获取服务列表的过程。

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。分布式应用可以使用它来实现诸如:统一命名服务、配置管理、分布式锁服务、集群管理等功能。公司常用到的是Java服务集群的管理。

1.函数介绍

[cpp]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. //create a handle to used communicate with zookeeper  
  2. zhandle_t *zookeeper_init(const char *host, watcher_fn fn, int recv_timeout, const clientid_t *clientid, void *context, int flags)  
  3. //create a node synchronously  
  4. int zoo_create(zhandle_t *zh, const char *path, const char *value,int valuelen,  
  5.    const struct ACL_vector *acl, int flags,char *path_buffer, int path_buffer_len);  
  6. //lists the children of a node synchronously.  
  7. int zoo_wget_children(zhandle_t *zh, const char *path, watcher_fn watcher, void* watcherCtx, struct String_vector *strings)  
  8. //close the zookeeper handle and free up any resources.  
  9. int zookeeper_close(zhandle_t *zh)  

2.实例

用上面3个函数,就能创建一个简单的集群管理。

数据存储结构为


服务端向Zk注册服务

[cpp]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. //连接zk  
  2. void ZkRegistry::ConnectZK() {  
  3.   if (zhandle_) {  
  4.     zookeeper_close(zhandle_);  
  5.   }  
  6.   int count = 0;  
  7.   do {  
  8.     ++count;  
  9.     zhandle_ = zookeeper_init(zk_hosts_.c_str(),InitWatcher, timeout_, NULL, NULL, 0);  
  10.   } while (!connected_ && count < ZK_MAX_CONNECT_TIMES);  
  11.   
  12.   if (count >= ZK_MAX_CONNECT_TIMES) {  
  13.     SLOG_WARN("ZkRegistry::Init --> connect host " << zk_hosts_ << " over max times:" << count);  
  14.     return;  
  15.   }  
  16. }  
  17.   
  18. //发布服务,建立临时节点  
  19. void ZkRegistry::PublishService() {  
  20.   if (zhandle_ == NULL) {  
  21.     ConnectZK();  
  22.   }  
  23.   string server_path = PING_SERVER + "/" + PingConfig::instance().get_index() + "/"  
  24.     + GetIp() + ":" + PingConfig::instance().get_port();  
  25.   char res_path[128];  
  26.   int rc = zoo_create(zhandle_, server_path.c_str(), GetIp().c_str(), GetIp().size(),  
  27.       &ZOO_OPEN_ACL_UNSAFE, ZOO_EPHEMERAL, res_path, 128);  
  28.   if (rc) {  
  29.     SLOG_INFO("ZkRegistry::PublishService --> zoo_create() path=" << server_path << "," << zerror(rc));  
  30.   }  
  31. }  
  32.   
  33. //每隔10s注册一次服务  
  34. void ZkRegistry::run() {  
  35.   while(true) {  
  36.     SLOG_INFO("publish service");  
  37.     ConnectZK();  
  38.     PublishService();  
  39.     sleep(10);  
  40.   }  
  41. }  
  42.   
  43. void ZkRegistry::InitWatcher(zhandle_t *zh, int type, int state, const char *path, void *watcher_ctx) {  
  44.   if (state == ZOO_CONNECTED_STATE) {  
  45.     connected_ = true;  
  46.     SLOG_INFO("InitWatcher() ZOO_CONNECTED_STATE");  
  47.   } else if (state == ZOO_AUTH_FAILED_STATE) {  
  48.     SLOG_INFO("InitWatcher() ZOO_AUTH_FAILED_STATE");  
  49.   } else if (state == ZOO_EXPIRED_SESSION_STATE) {  
  50.     SLOG_INFO("InitWatcher() ZOO_EXPIRED_SESSION_STATE");  
  51.   } else if (state == ZOO_CONNECTING_STATE) {  
  52.     SLOG_INFO("InitWatcher() ZOO_CONNECTING_STATE");  
  53.   } else if (state == ZOO_ASSOCIATING_STATE) {  
  54.     SLOG_INFO("InitWatcher() ZOO_ASSOCIATING_STATE");  
  55.   }  
  56. }  

客户端获取服务列表

[cpp]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. //连接zk server  
  2. void ZkClient::ConnectZK() {  
  3.   cout << "ZkClient::ConnectZK" << endl;  
  4.   if (zhandle_) {  
  5.     zookeeper_close(zhandle_);  
  6.   }  
  7.   zhandle_ = NULL;  
  8.   connected_ = false;  
  9.   
  10.   int count = 0;  
  11.   do {  
  12.     ++count;  
  13.     zhandle_ = zookeeper_init(zk_hosts_.c_str(), InitWatcher, timeout_, NULL, NULL, 0);  
  14.     sleep(5 * ONE_SECONDS);  
  15.   } while (!connected_ && count < ZK_MAX_CONNECT_TIMES);  
  16.   
  17.   if (count >= ZK_MAX_CONNECT_TIMES){  
  18.     cout << "ZkClient::Init --> connecting zookeeper host: " << zk_hosts_ << " over times: " << count << endl;  
  19.   }  
  20. }  
  21. //更新服务列表,冷备和热备  
  22. void ZkClient::Update() {  
  23.   cout << "ZkClient::Update" << endl;  
  24.   if (zhandle_ == NULL || connected_ == false) {  
  25.     Init();  
  26.   }  
  27.   //获得服务份数  
  28.   struct String_vector str_vec;  
  29.   int ret = zoo_wget_children(zhandle_, PING_SERVER.c_str(), ServiceWatcher, NULL, &str_vec);  
  30.   if (ret) {  
  31.     cout << "Update --> read path:" << PING_SERVER << " wrong, " << zerror(ret) << endl;  
  32.     return;  
  33.   }  
  34.   
  35.   //获得各份服务ip:port  
  36.   for (int i = 0; i < str_vec.count; ++i) {  
  37.     struct String_vector node_vec;  
  38.     string path = PING_SERVER + "/" + str_vec.data[i];  
  39.     int ret = zoo_wget_children(zhandle_, path.c_str(), ServiceWatcher, NULL, &node_vec);  
  40.     cout << "Update --> path:" << path << ", ret:" << ret << ", node's size:" << node_vec.count << endl;  
  41.     if (ret || node_vec.count != 1) {  
  42.       continue;  
  43.     }  
  44.     ....  
  45.   }  
  46. }  
  47. //监控服务变化  
  48. void ZkClient::ServiceWatcher(zhandle_t *zh, int type, int state, const char *path, void *watcherCtx) {  
  49.   cout << "type:" << type << endl;  
  50.   cout << "state:" << state << endl;  
  51.   cout << "path:" << path << endl;  
  52. //  cout << "watcherCtx:" << (char*)watcherCtx << endl;  
  53.   cout << "ZOO_CHILD_EVENT:" << ZOO_CHILD_EVENT << endl;  
  54.   if (ZOO_CHILD_EVENT == type) {  
  55.     cout << "ServiceWatcher ZOO_CHILD_EVENT" << endl;  
  56.     ZkClient::Instance().Update();//更新服务列表      
  57.   }  
  58. }  

服务端会每隔一段时间重新注册自己;

客户端在第一次与zk建立连接获取服务列表时,注册监听函数。zk当节点发生变化时,通知客户端,客户端重新获取服务列表,并注册事件。

<think>嗯,用户现在想查找关于使用zk-shell脚本进行ZooKeeper备份和恢复的指南。之前我已经在之前的回答中提到了几种备份恢复工具,包括zk-shell脚本的方法。现在需要更详细地指导用户如何使用zk-shell进行备份和恢复。 首先,我需要回忆一下zk-shell的基本用法。根据引用[3]提到的环境搭建,用户可能是在一个CentOS系统上,使用ZooKeeper 3.4.10。zk-shell是一个命令行工具,需要安装,可能需要Python环境。记得安装命令大概是pip install zk-shell?或者需要从GitHub克隆?需要确认安装步骤。 接下来,备份的核心步骤是通过zk-shell连接到ZooKeeper实例,然后导出指定路径的数据。用户可能需要知道具体的命令,比如使用dump命令保存节点数据为JSON文件。恢复时则是使用load命令将JSON文件导入到目标路径。同时,需要注意权限问题,比如ACL是否会被备份,根据之前的回答,zk-shell脚本可能不支持权限备份,所以需要提醒用户这一点。 另外,用户提供的引用[1]提到使用LogFormatter类查看事务日志,这可能和备份恢复有关联,但用户现在的问题是关于zk-shell,所以暂时可以不深入这部分,但可能需要提到日志和快照文件作为备份的另一种方式,供用户参考。 需要确保步骤清晰,包括安装zk-shell、备份命令、恢复命令,以及注意事项,比如处理大型数据时的性能问题,是否需要停止ZooKeeper服务等。此外,用户可能关心如何自动化这些脚本,是否可以结合cron定时任务,或者集成到现有的运维流程中。 还要考虑用户的环境,比如是否有多节点集群,是否需要跨节点备份,或者如何确保备份的一致性。但根据用户当前的问题,主要是针对zk-shell的具体操作,所以先集中在基本操作上,如果有高级需求再进一步扩展。 最后,生成相关问题,引导用户了解其他备份方法或者深入zk-shell的高级用法。比如如何增量备份,如何处理备份过程中的连接问题,或者如何验证备份文件的完整性。</think>### 基于zk-shell的ZooKeeper备份与恢复操作指南 以下是使用`zk-shell`脚本进行ZooKeeper数据备份与恢复的详细步骤和注意事项,结合引用[1]中提到的日志/快照文件管理方法,提供完整的操作流程: --- #### **1. 安装zk-shell** `zk-shell`是基于Python的命令行工具,需确保环境满足以下条件: - Python 3.6+(推荐Python 3.8) - pip包管理器 ```bash # 安装zk-shell pip install zk-shell ``` 若安装失败,可尝试从GitHub直接安装: ```bash git clone https://github.com/rgs1/zk_shell.git cd zk_shell python setup.py install ``` --- #### **2. 数据备份操作** ##### **2.1 备份指定路径** 通过`dump`命令将ZooKeeper节点数据导出为JSON格式文件(支持递归备份子节点): ```bash # 连接到ZooKeeper服务器(默认端口2181) zk-shell localhost:2181 # 进入交互模式后执行备份(例如备份根路径) dump / /tmp/zookeeper_backup.json ``` *说明*: - 备份文件包含节点数据、ACL权限(若存在)及节点结构[^1]。 - 若需备份特定路径(如`/config`),替换命令中的根路径`/`为目标路径即可。 ##### **2.2 结合快照与日志文件(增强可靠性)** 根据引用[1],ZooKeeper的事务日志和快照文件可用于恢复历史状态。建议在备份数据时同步记录当前快照版本: ```bash # 查看最新快照文件(默认路径:/tmp/zookeeper/snapshot) ls -l /tmp/zookeeper/snapshot | tail -n 1 # 记录快照文件名(如:snapshot.100000001) ``` --- #### **3. 数据恢复操作** ##### **3.1 从JSON文件恢复** 使用`load`命令将备份文件导入目标ZooKeeper集群: ```bash zk-shell new_zookeeper:2181 # 连接到目标集群 load /tmp/zookeeper_backup.json / ``` *注意事项*: - 若目标路径已存在同名节点,默认会覆盖数据(需确认权限是否允许写入)。 - 恢复过程中建议关闭客户端写入操作,避免数据冲突[^1]。 ##### **3.2 使用历史快照恢复(备用方案)** 若需回滚到特定历史状态(如备份文件损坏): ```bash # 停止ZooKeeper服务 bin/zkServer.sh stop # 替换数据目录(假设数据目录为/tmp/zookeeper) cp -r /backup/snapshot.100000001 /tmp/zookeeper/snapshot/ cp /backup/log.100000001 /tmp/zookeeper/log/ # 重启服务 bin/zkServer.sh start ``` --- #### **4. 自动化脚本示例** 结合Shell脚本实现定时备份(每日凌晨执行): ```bash #!/bin/bash BACKUP_DIR="/opt/zookeeper_backups" DATE=$(date +%Y%m%d) ZK_HOST="localhost:2181" # 创建备份目录 mkdir -p $BACKUP_DIR/$DATE # 使用zk-shell备份数据 echo "dump / $BACKUP_DIR/$DATE/zk_data.json" | zk-shell $ZK_HOST # 备份最新快照文件 LATEST_SNAP=$(ls -t /tmp/zookeeper/snapshot | head -n1) cp /tmp/zookeeper/snapshot/$LATEST_SNAP $BACKUP_DIR/$DATE/ ``` --- #### **关键注意事项** 1. **权限一致性**: `zk-shell`默认备份ACL信息,但若目标集群认证模式不同(如Kerberos),需手动调整权限配置[^1]。 2. **大文件处理**: 若节点数据量较大(如超过100MB),建议分路径备份或调整JVM内存参数: ```bash export JVMFLAGS="-Xmx2G" && zk-shell localhost:2181 ``` 3. **集群环境**: 在分布式集群中,只需从一个节点备份数据(ZooKeeper保证数据一致性)[^1]。 --- ### 对比其他方案 | 特性 | zk-shell脚本 | Python工具[^1] | 快照文件恢复 | |---------------------|--------------------|-------------------|--------------------| | 依赖环境 | Python + Shell | Python | ZooKeeper服务 | | 数据格式 | JSON | XML | 二进制 | | ACL支持 | 是 | 部分支持 | 完全保留 | | 适用场景 | 中小规模数据 | 需权限同步 | 灾难恢复 | --- ### 相关问题 1. **如何验证备份文件的完整性与一致性?** 2. **在ZooKeeper集群扩容后,备份恢复策略需要做哪些调整?** 3. **zk-shell备份过程中出现连接中断应如何修复?**
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值