ES使用腾讯云COS存储方案实现快照

最新推荐文章于 2025-07-29 23:14:06 发布

原创最新推荐文章于 2025-07-29 23:14:06 发布 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

elasticsearch 专栏收录该内容

10 篇文章

订阅专栏

本文详述了如何利用腾讯云的COS存储服务，通过兼容S3的API，配置Elasticsearch集群以实现数据快照。内容覆盖了从安装S3快照插件、配置密钥信息、添加服务器位置，到创建仓库和快照的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ES快照（基于TXY COS存储）

简述

由于腾讯云的COS存储兼容S3的API，所以我们使用ES的S3 snapshot接口来对接COS存储，实现快照。

配置ES集群

搭建ES集群环境
该部分由于不是本文讲解的重点，本文不进行讲解
在所有节点安装S3快照插件

bin/elasticsearch-plugin install repository-s3

将秘钥信息添加到elasticsearch-keystore（SecretId和SecretKey）

## SecretId
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.access_key
AABBCCDD000112233

## SecretKey
/opt/elasticsearch/bin/elasticsearch-keystore add s3.client.default.secret_key
AABBCCDD000112233

注意：添加的键名（如：s3.client.default.access_key）是固定的格式，在S3接口中命名规则为：s3.client.CLIENT_NAME.SETTING_NAME，而access_key和secret_key是两个固定设置名称，建议可以不修改，直接用。了解更多,可以查看ES client setttings，这里会更加详细的介绍。

在elasticsearch.yml中添加endpoint（告诉ES快照的服务器位置）配置

vim config/elasticsearch.yml
## 添加以下内容
s3.client.default.endpoint: cos.ap-guangzhou.myqcloud.com
### cos.ap-guangzhou.myqcloud.com替换为你COS地址

重启集群全部节点

配置快照

创建仓库

## estest-1252174127替换为你的COS空间名称
PUT _snapshot/esbackup
{
  "type": "s3",
  "settings": {
    "bucket": "estest-1252174127"
  }
}

创建快照

PUT _snapshot/esbackup/snapshot_1
{
  "indices": "metricbeat-*",
  "ignore_unavailable": true,
  "include_global_state": false
}

附录

常考资料如下
ES S3仓库配置
 一次S3仓库异常的处理过程