【ETCD】【实操篇（六）】使用多种方式从ETCD集群中读取数据【Get keys by prefix】

原创 于 2024-12-21 11:00:00 发布 · 804 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etcd #数据库

本文将演示从 etcd 集群中获取以特定前缀（如 /config/db）开头的所有键值对。
ETCD技术架构图

在分布式系统中，etcd 是一个高可用的键值存储，用于存储和共享配置信息、服务发现、协调等。从 etcd 读取数据可以通过多种方式进行，常见的方式是使用 etcd 提供的 HTTP API 或者通过客户端库来进行操作。

目录

一、使用EtcdCtl工具来读取数据

1.1、设置环境变量(可选)
export ETCDCTL_API=3
export ETCDCTL_ENDPOINTS=http://localhost:2379
1.2、使用etcdctl Get keys by prefix
etcdctl get <key> <value>  --prefix
etcdctl get /config/db  --prefix
1.2’、格式化获取的结果
D:\data>etcdctl get /config/db-w json --prefix
{"header":{"cluster_id":1090313446326588887,"member_id":2759271418354571410,"revision":4,"raft_term":2},"kvs":[{"key":"L2NvbmZpZy9kYi9ob3N0","create_revision":4,"mod_revision":4,"version":1,"value":"MTkyLjE2OC4xLjEwMA=="}],"count":1}

上面的示例我们把获取到结果以json形式进行输出

1.3、通过etcdctl get -h来查看相关帮助信息
D:\data>etcdctl get -h
NAME:
        get - Gets the key or a range of keys

USAGE:
        etcdctl get [options] <key> [range_end] [flags]

OPTIONS:
      --consistency="l"                 Linearizable(l) or Serializable(s)
      --count-only[=false]              Get only the count
      --from-key[=false]                Get keys that are greater than or equal to the given key using byte compare
  -h, --help[=false]                    help for get
      --keys-only[=false]               Get only the keys
      --limit=0                         Maximum number of results
      --order=""                        Order of results; ASCEND or DESCEND (ASCEND by default)
      --prefix[=false]                  Get keys with matching prefix
      --print-value-only[=false]        Only write values when using the "simple" output format
      --rev=0                           Specify the kv revision
      --sort-by=""                      Sort target; CREATE, KEY, MODIFY, VALUE, or VERSION

二、使用go 客户端读取数据

2.1、安装 Go 客户端库
2.2、示例代码
func init() {
   
   
	// 初始化etcd客户端
	var err error
	cli, err = clientv3.New(clientv3.Config{
最低0.47元/天 解锁文章
Kubernetes实战（三十三）-外部Etcd集群部署与调优（更安全的数据存储策略）
专注基础架构领域
11-06 863
Etcd集群作为kubernetes集群的大脑，重要性不言而喻，但我好像没有对etcd集群做过一个全方面的总结，部署手法也只是单调的使用ansible快速部署，很多细节并没有说清楚，并且对于etcd集群部署后的性能调优也没有过多的提及。因此，本文将对etcd集群的由来，etcd集群的特点，etcd集群的部署手法，etcd应该注意的调优方案这些做一个全面的总结。
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
WeiyiGeek 唯一极客IT知识分享
03-09 783
在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
etcdctl使用手册
a1023934860的博客
05-25 2486
etcdctl使用手册 我们通过 etcdctl -help可以查看etcd客户端的一些指令与参数，下面让我们分析使用方式 COMMANDS 基本运行命令主要功能有，创建键、删除键、更新、监视等 get etcdctl get [options] [range_end] etcdctl --endpoints=$ENDPOINTS get web 例子意思为获取键位web的值 –prefix 前缀匹配键来查询值 （比如 key有web1，web2，web3，那么可以get web --prefix）
【云原生 | 47】etcdctl客户端的使用方法详解
热门推荐
小鹏linux的博客
12-19 3万+
etcdctl是Etcd官方提供的命令行客户端，它支持一些基于HTTP API封装好的命令，供用户直接跟Etcd服务打交道，而无需基于HTTP API的方式。当然，这些命令跟HTTP API实际上是对应的，最终效果上并无不同之处。
etcdctl常用命令
weixin_38582858的博客
09-01 1941
【代码】etcdctl常用命令。
【ETCD】数据写入与查看
weixin_43346403的博客
07-20 919
3.向 etcd 中写入 kv。2.获取 etcd 成员列表。4.向 etcd 查询数据。
通过命令行查看etcd数据
IChen.的博客
09-25 3411
从kubernetes 1.6开始，etcd集群使用version 3。只列出etcd key信息。
【ETCD】【实操篇（五）】使用多种方式从ETCD集群中读取数据
zhangshenglu1的博客
12-21 742
本文演示三种通过三种不同方式来从ETCD读取数据的操作，即分别演示了使用etcdCtl工具、Go客户端以及Java客户端来操作读取etcd集群中的数据。
Etcd教程 — 第五章 Etcd之etcdctl的使用
2401_87198233的博客
09-18 1118
NAME:USAGE:VERSION:3.5.43.5COMMANDS:flagflagOPTIONS:–debug 输出CURL命令，显示执行命令的时候发起的请求–no-sync 发出请求之前不同步集群信息。
etcd 如何查看、更新数据
qq_34914039的博客
03-12 557
待补充。
etcd v3.4.3
10-27
etcd 是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。etcd 的灵感来自于 ZooKeeper 和 Doozer，侧重于：简单：支持 curl 方式的用户 API (HTTP+JSON)安全：可选 SSL 客户端证书认证快速：单实例可达每秒 1000 次写操作可靠：使用 Raft 实现分布式
etcd全部key和简单操作
风行天下
11-13 2737
etcd全部key和简单操作
查看etcd的所有键（keys）
喝醉酒的小白
08-29 2329
【代码】查看etcd的所有键（keys）
etcd-简单使用
renren_100的博客
06-05 2136
etcd
Etcd特性学习2——数据操作
丰年留客的专栏
04-30 1510
0x01 endpoint endpoint即意为端点，指向客户端提供服务的一个服务入口。Etcd集群中每个节点都可以提供一个端点。严格来说，endpoint不属于数据操作范畴，但与后续defrag有关联，是理解defrag的前提，就先放这里了。 提供了3个子命令。 hashkv 打印出KV历史的hash值。是用来检查请求发生时各端点的记录是否一致。可以计算指定的revison版本。 health 检查端点是否健康。可以用于检查端点是否健康。可以通过-w json的全局选项，返回json格式，方便使用方解
etcd入门和常用操作
margu_168的博客
07-26 2638
etcd 是一个高可用的分布式键值（key-value）数据库，采用了更为简洁的Raft共识算法来实现数据强一致。基于Go语言实现，主要用于共享配置和服务发现。
etcd如何查找所有的key和value
weixin_45313931的博客
11-09 8878
etcdctl查看所有的key和value
kubernetes 核心组件之 etcd
看，未来的博客
06-01 1401
Etcd是CoreOS基于Raft协议开发的分布式key-value存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）。2013 年，一个叫做作 CoreOS 的创业团队认为，所有的安全问题，都可以归结为软件更新能力的问题，如果可以构建一个自动更新的服务器（自动化），那么系统的安全问题将迎刃而解。为了达到这个目的，必须将应用程序打包成一个独立单元，达到基本操作系统和应用程序隔离的目的，CoreOS 通过容器技术来达到目的。同时，还共了集群化的管理方案，让用户管理集群就像管理单机一样方便
ETCD（四）读请求处理过程
weixin_44477424的博客
04-20 1346
客户端通过etcdctl执行get命令首先是client会解析这条命令，包括其中的get API方法，key值，请求server地址。解析完之后etcdctl会创建一个clientv3库对象，etcd clientv3会采用gRPC负载均衡机制来实现负载均衡策略向其中的一个服务端发送RPC请求。服务器收到client发来的Range RPC请求后，会将请求发送到对应的handler函数上实现（根据serverName和RPC method来定位具体的handler执行函数）。
fastadmin 怎样使用redis缓存和文件缓存存储数据
最新发布
09-01
<think> 我们正在回答用户关于FastAdmin使用Redis缓存和文件缓存存储数据的方法的问题。之前已经详细介绍了Redis缓存的使用，现在需要补充文件缓存的使用，并将两者进行对比说明。 文件缓存是FastAdmin（基于ThinkPHP）默认的缓存方式，使用本地文件系统存储缓存数据。以下是两种缓存方式的具体使用方法： ### 一、Redis缓存配置与使用（复习补充） #### 1. 配置Redis驱动 修改`application/config.php`中的缓存配置： ```php 'cache' => [ 'type' => 'redis', 'host' => '127.0.0.1', 'port' => 6379, 'password' => '', // 如果有设置密码 'select' => 0, // 选择Redis数据库索引 'timeout' => 3600, // 默认缓存过期时间（秒） 'prefix' => 'fa_', // 缓存前缀 'persistent' => false, // 是否使用长连接 ], ``` #### 2. 缓存操作示例 ```php use think\facade\Cache; // 设置缓存（带过期时间10分钟） Cache::set('user_data', $data, 600); // 获取缓存 $data = Cache::get('user_data'); // 删除缓存 Cache::delete('user_data'); // 使用标签管理（可批量清除） Cache::tag('user')->set('user_info', $userInfo); Cache::tag('user')->set('user_profile', $profile); ``` ### 二、文件缓存配置与使用 #### 1. 配置文件缓存 文件缓存是默认的缓存驱动，通常无需额外配置。但可以自定义缓存路径和前缀： ```php 'cache' => [ 'type' => 'file', // 驱动类型 'path' => '../runtime/cache/', // 缓存保存目录 'prefix' => 'fa_', // 缓存前缀 'expire' => 3600, // 默认缓存过期时间（秒） ], ``` #### 2. 文件缓存操作 操作方式与Redis缓存完全一致（得益于ThinkPHP的统一缓存接口）： ```php use think\facade\Cache; // 写入缓存（有效时间10分钟） Cache::set('config_data', $configArray, 600); // 读取缓存 $config = Cache::get('config_data'); // 删除指定缓存 Cache::delete('config_data'); // 使用标签（标签数据存储在独立的hash表中） Cache::tag('config')->set('site_config', $siteConfig); ``` ### 三、两种缓存方式对比 | **特性** | **Redis缓存** | **文件缓存** | |--------------------|----------------------------------------|--------------------------------------| | 存储位置 | 内存 | 硬盘文件 | | 读写速度 | 极快（微秒级） | 较慢（毫秒级） | | 数据持久化 | 支持RDB/AOF | 始终持久化 | | 分布式支持 | 天然支持 | 不支持（需借助NFS等共享存储） | | 数据类型支持 | 丰富（字符串/哈希/列表/集合等） | 仅字符串（序列化存储） | | 适用场景 | 高并发读写、频繁访问的热数据 | 低频访问数据、小型项目 | ### 四、缓存选择建议 1. **优先Redis**：生产环境推荐使用Redis，尤其需要处理高并发时 2. **开发调试选文件**：本地开发环境可使用文件缓存简化部署 3. **混合使用策略**： ```php // 在config/cache.php中配置多个缓存通道 'channels' => [ 'file' => [ 'type' => 'file', 'path' => '../runtime/file_cache/', ], 'redis' => [ 'type' => 'redis', 'host' => '127.0.0.1', ], ], // 代码中按需切换 Cache::store('redis')->set('hot_data', $value); // 热数据存Redis Cache::store('file')->set('cold_data', $value); // 冷数据存文件 ``` ### 五、注意事项 1. **文件缓存清理**：定期清理`runtime/cache`目录防止空间耗尽 2. **Redis内存管理**：通过`maxmemory-policy`配置淘汰策略（如volatile-lru） 3. **缓存失效策略**：重要数据建议采用主动更新（写数据库时同步删缓存）[^2] 4. **标签实现差异**：文件缓存的标签实际存储为独立索引文件，大量标签时效率较低 > 关键提示：使用缓存标签清除时，Redis可通过`KEYS`命令直接删除关联数据，而文件缓存需要遍历索引文件，数据量大时可能造成短暂延迟。 --- ### 相关问题 1. 如何监控FastAdmin中Redis缓存的命中率？ 2. 文件缓存数据存储的物理结构是怎样的？ 3. 如何实现FastAdmin缓存数据的批量导出导入？ 4. 高并发场景下如何防止Redis缓存穿透？ 5. 在FastAdmin中如何动态切换缓存驱动？ [^1]: Windows10系统安装Redis以及在fastadmin使用Redis。解压文件并运行redis-server.exe文件且不要关闭以及打开redis-cli.exe文件，在redis-cli.exe文件中输入ping观察，一般会返回pong，输入shutdown关闭redis-server.exe窗口。 [^2]: Redis实现信息缓存的方法。提供了缓存查询和写入的标准流程，包括缓存查询、数据库回源和写入缓存。 </think> ### FastAdmin中使用Redis缓存与文件缓存的方法 在FastAdmin中，缓存系统基于ThinkPHP框架实现，支持多种缓存驱动。以下是Redis缓存和文件缓存的具体配置与使用方法： --- ### 一、Redis缓存配置与使用 #### 1. 配置Redis驱动 **修改`application/config.php`**： ```php 'cache' => [ 'type' => 'redis', // 驱动类型 'host' => '127.0.0.1', // Redis服务器地址 'port' => 6379, // 端口 'password' => '', // 密码（无密码留空） 'select' => 0, // 数据库索引（0-15） 'prefix' => 'fa_', // 键名前缀 'timeout' => 3600, // 默认过期时间(秒) 'persistent' => false, // 是否使用长连接 ] ``` #### 2. 基本操作示例 ```php use think\facade\Cache; // 写入缓存（带10分钟过期时间） Cache::set('user:1001', ['name' => '张三', 'role' => 'admin'], 600); // 读取缓存 $user = Cache::get('user:1001'); // 删除缓存 Cache::delete('user:1001'); // 检查缓存存在性 if (Cache::has('config:site')) { // ... } ``` #### 3. 高级用法：缓存数据库查询 ```php public function getShopInfo($id) { $key = "shop:{$id}"; // 尝试从Redis获取 if ($data = Cache::get($key)) { return json_decode($data, true); } // 数据库查询（无缓存时） $shop = Db::name('shop')->find($id); if ($shop) { // 写入Redis（缓存1小时） Cache::set($key, json_encode($shop), 3600); return $shop; } return null; } ``` > 注意：更新数据后需手动删除相关缓存保证一致性[^2] --- ### 二、文件缓存配置与使用 #### 1. 配置文件缓存 **修改`application/config.php`**： ```php 'cache' => [ 'type' => 'file', // 驱动类型 'path' => '../runtime/cache/', // 缓存存储目录 'prefix' => 'fa_', // 缓存前缀 'expire' => 3600, // 默认过期时间(秒) ] ``` #### 2. 文件缓存操作（与Redis接口一致） ```php // 写入文件缓存 Cache::set('sysconfig', $configArray); // 读取文件缓存 $config = Cache::get('sysconfig'); // 缓存标签管理（批量清除相关缓存） Cache::tag('config')->set('site_title', '我的网站'); Cache::tag('config')->set('site_icp', '京ICP备XXXX号'); ``` #### 3. 文件缓存特性 - **存储路径**：`runtime/cache/` 目录下生成 `.php` 缓存文件 - **文件结构**：每个缓存项单独文件，文件名格式：`前缀_键名.php` - **内容格式**： ```php <?php return ['expire' => 1690000000, 'data' => '缓存内容']; ``` --- ### 三、两种缓存方式对比 | **特性** | **Redis缓存** | **文件缓存** | |------------------|----------------------------------------|--------------------------------------| | 存储位置 | 内存 | 硬盘文件 | | 读写速度 | 微秒级（超快） | 毫秒级（较慢） | | 数据持久化 | 需配置RDB/AOF | 始终持久化 | | 分布式支持 | 天然支持 | 不支持 | | 适用场景 | 高并发、频繁读写数据 | 低频访问的配置数据 | | 安装要求 | 需单独安装Redis服务 | 无需额外服务 | --- ### 四、最佳实践建议 1. **混合使用策略**： ```php // 热数据用Redis Cache::store('redis')->set('hot:data', $value); // 冷数据用文件缓存 Cache::store('file')->set('config:base', $config); ``` 2. **缓存清理方法**： - Redis：`redis-cli KEYS fa_* | xargs redis-cli DEL` - 文件缓存：删除`runtime/cache/`目录 3. **性能优化**： - Redis连接池：配置`'persistent' => true`减少连接开销 - 文件缓存：使用SSD硬盘提升IO速度 > 重要提示：Windows开发环境需保持`redis-server.exe`运行[^1]，Linux生产环境建议配置Redis密码和持久化 --- ### 相关问题 1. 如何监控FastAdmin中Redis缓存的内存使用情况？ 2. 文件缓存与Redis缓存的并发性能差异有多大？ 3. 如何实现FastAdmin缓存数据的自动预热？ 4. Redis集群模式下FastAdmin如何配置缓存？ 5. 文件缓存目录结构是否可以自定义优化？ [^1]: Windows10系统安装Redis以及在fastadmin使用Redis。解压文件并运行redis-server.exe文件且不要关闭 [^2]: Redis实现信息缓存的方法。提供了缓存查询和写入的标准流程，包括缓存查询、数据库回源和写入缓存。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值