Elasticsearch 可搜索快照技术原理及最 佳实践

Elasticsearch的Snapshot and Restore(快照备份与恢复) 无论使用哪种存储数据的软件,定期备份数据都是很重要的。Elasticsearch 副本提供了高可靠性;它们让你可以容忍少量的节点丢失而不会中断服务。但是,副本并不提供对灾难性故障的保护。对这种情况,你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。需要注意的是Elasticsearch并不支持直接拷贝集群data目录、备份服务器的方式来备份、升级群集,这样做会导致数据损坏、无法恢复数据。 阅读详情

作者:吴容——腾讯云 Elasticsearch 高级开发工程师

Elasticsearch于7.10版本推出可搜索快照功能,但是7.10版本的可搜索快照技术还不够成熟,随着7.14版本的发布,可搜索快照技术才真正能够大规模用于生产实践中。本文将基于ES 7.14.2版本,继续从原理和实践两个角度向大家介绍可搜索快照技术。

可搜索快照特性向我们展现一种能够直接搜索快照中数据的魔力,通常我们会将快照备份到非常廉价的存储介质中,如腾讯云对象存储COS中。这样我们就可以将集群的使用成本降到最低。

一、可搜索快照技术原理

1.1 DataTier模型

要了解可搜索快照的工作机制,首先我们需要了解从7.10版本开始ES对节点的分层规划,即DataTier概念。

ES对不同的节点类型做了如下分层,分别是Content tier、Hot tier、Warm tier、Cold tier和Frozen tier。

  • Content tier:主要处理产品目录等内容型索引和查询负载;

  • Hot tier:主要处理数据的读写,尤其是时序类数据的写入和查询,由于对读写性能要求最高,并且查询的频率也最高,因此我们建议对于Hot tier的节点挂载SSD硬盘;

  • Warm tier:主要处理时序类场景数据,数据不再被更新,查询频率相对Hot tier节点较低;

  • Cold tier:主要处理数据的读请求,且查询的数据较老,通常查询频率更低,因此建议Warm/Cold tier的节点挂载HDD;

  • Frozen tier:查询的频率更低,可能半年才查询那么几次,但是这种数据体量其实是最大的;于Frozen tier中的数据,则是通过可搜索快照的技术挂载在集群中的。原始的数据其实是在快照中,集群中只会保存索引的元数据相关信息,以及每次查询时的缓存数据。

1.2 节点属性优化

另外7.10版本之后的集群不再通过node.master,node.data来区分是何种角色的节点,而是通过node.roles数组来定义一个节点的角色。如我们的测试集群中,Hot tier节点的node.roles如下:

node.roles: ["data_hot", "data_content", "ingest", "ml", "remote_cluster_client", "transform"]

专用主节点的node.roles则是:

node.roles: ["master"]

如果集群中有Frozen tier的节点,我们通过是将该节点设置为专用Frozen节点,不和任何角色混用,如设置node.roles如下:

node.roles: ["data_frozen"]

除了对节点角色的优化,还对索引的allocation做了优化,原先我们是通过include.{attribute}、require.{attribute}、exclude.{attribute}来设置索引的allocation settings;而升级到DataTier模式后,则是通过index.routing.allocation.include._tier_preference属性决定索引分片应该分配在哪一Tier节点上。

index.routing.allocation.include._tier_preference的属性值是一个字符串,多个tier_preference之间通过逗号 ',' 隔开,分片分配的优先级是从前往后依次降低。例如集群中的系统索引.kibana_7.14.2_001在创建时,其index.routing.allocation.include._tier_preference属性值为:"data_hot,data_warm,data_cold",如下图1所示:

图1. 索引创建时的_tier_preference属性

该属性的具体分配逻辑为:当集群中有data_hot节点时,则直接将分片分配在data_hot节点上,当没有data_hot节点时,则检查是否有data_warm节点,如果有,则在data_warm节点上分配,没有则在data_cold节点上分配。因此如果我们希望对集群中的数据进行降冷时,只需要将待降冷的索引settings设置为如下即可:

PUT {index_name}/_settings
{
"index": {
"routing": {
"allocation": {
"include": {
"_tier_preference": "data_warm,data_cold,data_hot"
}
}
}
}
}

1.3 工作原理

上面我们介绍了下7.10版本中引入的DataTier和_tier_preference概念,之所以先了解DataTier,是因为可搜索快照有两种挂载模式,分别对应的是两类不同的节点角色,即我们通过使用Cold或者Frozen数据节点来挂载可搜索快照数据,从而大大降低我们的集群成本。

若要对快照中数据进行查询,首先我们需要将快照中的数据Mount到集群中,而不是直接通过API去Search快照中的数据。

  • 全量挂载(Fully mounted index)

全量挂载的意思就是将快照中索引的数据在ES集群节点上全量保留一份,当搜索全量挂载的可搜索快照索引时,搜索原理和性能和普通索引相差不大。相比普通索引的优势在于,当其中一个分片出现损坏时,可搜索快照索引会自动从快照中拉取数据在其他节点上进行恢复,尤其是在集群中没有副本的情况下,普通模式是集群直接red,如果需要恢复,则必须手动从快照中进行恢复,在恢复前还需要先将该red的索引删除,而通过mount挂载下来的索引,则自动从快照中恢复损坏的分片。

  • 部分挂载(Partially mounted index)

部分挂载的意思就是并不将快照中的索引数据mount到集群节点上,而是只将索引的元数据信息保存以索引和分片的形式保留在节点上。部分挂载的分片只会分配在Frozen层。因此集群中Frozen层节点不存储快照数据,只存储索引分片的元数据信息,原始数据存储在COS的快照仓库中。如下API样例所示,其中storage就是索引的挂载类型:full_copy是全量挂载,而shared_cache则为部分挂载。

POST /_snapshot/default_searchable_snapshot_repository/my_cos_snapshot/_mount?wait_for_completion=true&storage=shared_cache
{
"index": "wurong-test-2021.11.26-000001",
"renamed_index": "wurong-test-2021.11.26-000001_from_cos",
"index_settings": {
"index.number_of_replicas": 0
},
"ignore_index_settings": [ "index.refresh_interval" ]
}

当查询部分挂载的可搜索快照索引时,会从快照中进行拉取并加载在Frozen层节点本地缓存中,下次查询类似数据时则可以直接从本地进行返回,另外ES也有缓存淘汰策略,会定期清理不再经常查询的缓存数据以释放空间。通常需要配置一个或多个专用Frozen节点,这些专用Frozen节点之间共享缓存。如果集群中没有配置专用Frozen节点,则必须在节点的配置文件中配置如下参数xpack.searchable.snapshot.shared_cache.size来设置每个节点中需要为共享缓存保留的存储空间。因为部分挂载的可搜索快照索引只会在分配在具有共享缓存的节点上。

另外由于Frozen节点上存储的是索引的元数据信息,以及查询的缓存数据。因此在配置Frozen节点时,需要给共享缓存预留一定的硬盘空间,默认需要保留至少90%的磁盘总容量,如图2所示,通过xpack.searchable.snapshot.shared_cache.size参数进行调整。

图2. Frozen节点磁盘使用率

由于该参数是一个static类型,因此当我们给Frozen节点的硬盘进行扩容时,如采用腾讯云CBS的弹性拉伸时扩容时,则需要重启Frozen节点才能使得xpack.searchable.snapshot.shared_cache.size参数生效。

查询Frozen节点上的数据需要先将索引数据下拉到本地节点上才开始执行Search查询。因此查询时间上必然是比全量挂载或者查询普通的索引慢很多的,为了解决这个问题,ES提供了一种Async Search异步搜索的API。当执行该API时候,并不会立即获取到查询结果,而是返回一个requestId,随后异步准备数据,当数据准备好后,只需要通过该requestId即可获取到想要的数据了(以下样例来源官网)。

POST /sale*/_async_search?size=0
{
"sort": [
{ "date": { "order": "asc" } }
],
"aggs": {
"sale_date": {
"date_histogram": {
"field": "date",
"calendar_interval": "1d"
}
}
}
}

由此我们可以看出Frozen层的部分挂载模式才是可搜索快照技术的真正亮点,因为它只需要Frozen节点很少的硬盘空间,即可Search过去无限规模的数据。达到了真正降低成本的目的。

二、可搜索快照操作实践

下面我们基于腾讯云COS来逐步演示如何一步步搭建可搜索快照集群,我们要实现的效果是通过压测程序持续向集群中写入数据,索引在10分钟或者达到10mb后开始滚动,滚动完成后1小时开始迁移到冷节点上,并且执行COS备份,备份完成后全量挂载到集群中,删除集群中原来的索引数据,2小时后将索引部分挂载到集群中,此时索引分片分配在冻结层。其数据流转架构如下图3所示:

图3. 可搜索快照演练数据流转示意图

2.1 集群环境准备

我们搭建的集群是7.14.2版本,由于可搜索快照技术只能在企业版本使用,因此我们在创建出7.14集群后需要手动调下如下API来免费试用企业版:

 

POST /_license/start_trial?acknowledge=true

调用API后如图4所示,说明当前集群已经是企业版集群了。

图4. 激活企业版License

2.2 创建快照仓库

本文测试集群使用的是腾讯云COS,因此我们需要在集群中创建一个COS仓库,用于可搜索快照的存放,,仓库名称为default_searchable_snapshot_repository。

PUT _snapshot/default_searchable_snapshot_repository
{
"type": "cos",
"settings": {
"app_id": "1254139681",
"access_key_id": "xxxx",
"access_key_secret": "xxxx",
"bucket": "wurong-es-snapshpt",
"region": “ap-guangzhou",
"compress": true,
"chunk_size": "500mb",
"base_path": "/searchable-snapshot"
}
}

2.3 配置索引生命周期管理

  • 配置ILM的Policy

首先我们在Kibana上配置索引生命周期管理的Policy,路径为:Management-Stack Management-Data-Index Lifecycle Polices。主要是设置ILM的策略名称,每个Phase的触发Condition。

图5. 配置ILM的Policy-Hot phase

上面我们设置好了Hot phase,主要是设置Rollover的触发条件,我们希望索引在创建后20分钟,或者主分片容量达到10mb后触发滚动,写入下一个索引。

图6. 配置ILM的Policy-Cold/Frozen phase

图6我们配置了Cold/Frozen phase的信息。我们想要达到的效果是索引在触发Rollover后的1小时开始降冷,将数据迁移到Cold tier上来,并且将数据备份到COS仓库,然后再全量Mount到集群中,在然后2小时后将cos中的索引部分mount到集群中。

上面我们是通过Kibana进行配置的,我们也可以直接通过API进行配置,效果是一样的:

PUT _ilm/policy/searchable_snapshot_test_policy
{
"policy": {
"phases": {
"hot": {
"min_age": "0ms",
"actions": {
"rollover": {
"max_size": "100mb",
"max_primary_shard_size": "10mb",
"max_age": "20m",
"max_docs": 1000000
},
"set_priority": {
"priority": 100
}
}
},
"cold": {
"min_age": "1h",
"actions": {
"searchable_snapshot": {
"snapshot_repository": "default_searchable_snapshot_repository",
"force_merge_index": true
},
"set_priority": {
"priority": 0
},
"allocate": {
"number_of_replicas": 0
}
}
},
"frozen": {
"min_age": "2h",
"actions": {
"searchable_snapshot": {
"snapshot_repository": "default_searchable_snapshot_repository",
"force_merge_index": true
}
}
}
}
}
}
  • 配置索引模版

在索引模版中指定创建的ILM policy和Rollover别名,模版名称为searchable_snapshot_test_template,policy名称为searchable_snapshot_test_policy,别名为wurong-test,_tier_preference为"data_hot,data_warm,data_cold"。

PUT _template/searchable_snapshot_test_template
{
"order": 100,
"index_patterns": [
"wurong-test*"
],
"settings": {
"index": {
"lifecycle": {
"name": "searchable_snapshot_test_policy",
"rollover_alias": "wurong-test"
},
"routing": {
"allocation": {
"include": {
"_tier_preference": "data_hot,data_warm,data_cold"
}
}
},
"refresh_interval": "30s",
"number_of_shards": "5",
"translog": {
"sync_interval": "5s",
"durability": "async"
},
"max_result_window": "65536",
"unassigned": {
"node_left": {
"delayed_timeout": "5m"
}
},
"number_of_replicas": "1"
}
}
}
  • 创建初始索引

我们期望在索引名称上加上日期,因此使用如下的方式进行创建。

PUT %3Cwurong-test-%7Bnow%2Fd%7D-000001%3E
{
"aliases": {
"wurong-test":{
"is_write_index": true
}
}
}

创建完成后可以看出索引名称上包含了当前的日期,且后缀从000001开始。

图7. 创建初始索引

然后通过压测程序开始向集群中写入数据,并且通过别名进行写入。

  • 效果展示

当我们持续往集群中写入半天的数据后,可以看到部分名称是restored-*开头的索引,这些索引就是从COS快照中Mount到本地的,如图8所示。

图8. 集群中的索引信息

我们以restored-wurong-test-2021.11.26-000001为例子,查看该索引的settings信息,如下图9所示:

图9. 可搜索快照索引的settings信息

从restored-wurong-test-2021.11.26-000001索引的settings信息中可以看出分片副本被设置为了0,_tier_preference也从原先的"_tier_preference": "data_hot,data_warm,data_cold”,调整成了"_tier_preference": "data_cold,data_warm,data_hot”,由此也可以看出这个索引是通过全量挂载模式mount到集群中的。并且在store对象中详细列出了mount快照的信息,如仓库名称,快照名称,快照Id和索引Id等。

当触发了Frozen phase的条件后,索引分片会被分配到Frozen tier节点上,且该索引是按照我们在ILM policy中定义的那样,通过部分挂载,即Partially mount模式挂载在Frozen tier节点上的。从Kibana上我们可以看到,该类索引名称是以partial-*开头,其Docs 数量是7413000,但是Storage size大小为0,这说明该索引在集群上是不占用存储空间的,只有索引的元数据信息。如图10所示:

图10. 部分挂载的索引

查看该索引的settings信息,可以看到_tier_preference被设置为了:data_frozen。

图11. 部分挂载的索引settings信息

另外ILM自动备份的快照信息也可以直接在Kibana上查看,路径为:Management-Stack Management-Data-Snapshot and Restore,如图12所示。

图12. Kibana上的快照列表信息

本文介绍了可搜索快照的技术原理, 以及基于腾讯云COS对象存储完整演示了可搜索快照的配置过程和可搜索快照的转换流程。希望对大家有所帮助,也让我们共同期待腾讯云ES的可搜索快照方案的发布。

 关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~ 

利用 Elasticsearch 可搜索快照与 ILM 提升存储效率 在大数据时代,海量数据的存储和管理是每个企业面临的挑战。Elasticsearch(ES)通过可搜索快照功能与索引生命周期管理(ILM)结合,提供了一种高效、经济的解决方案。本文将深入探讨如何使用可搜索快照及其与 ILM 的结合,为您的数据存储策略提供参考。 可搜索快照(Searchable Snapshots)是 Elasticsearch 引入的一项功能,允许用户将索引存储在经济高效的存储介质(如对象存储)中,同时仍支持对数据的查询操作。这项功能可以显著降低存储成本,并在需要时快速访问归档 阅读详情

相关推荐

四.Elasticsearch -基于hdfs的快照

概要: 首先了解什么是快照,所谓的快照就是对es中的数据进行的镜像copy,当es集群因为硬件故障或者是不可恢复的原因,导致重要数据全部丢失,在这种时候我们在某些情况下无法重新索引数据,此时就可以重新配置一个集群,然后用es之前保存的快照进行数据的恢复。 快照版本之间兼容事项: 快照包含组成索引的磁盘上数据结构的副本。这意味着快照只能还原到可以读取索引的Elasticsearch版本: 在...

笔生花的博客 737

【Elasticsearch】快照snapshot入门教程

Elasticsearh快照配置,保姆级小白入门教程

柒杯红酒 6041

【教你通透ELK】ES备份与恢复

在云服务器上部署ES备份和恢复可以快速搭建一个大规模的数据备份和恢复平台,而本地部署则可以提高数据的安全性和隐私性。(2)索引(Index):ES中的索引类似于关系型数据库中的表,用于存储和组织文档。(3)测试和开发:ES备份和恢复功能可以用于测试和开发环境,方便开发人员在不影响生产环境的情况下进行测试和开发。ES备份和恢复的工作原理主要涉及两个核心概念:快照(Snapshot)和恢复(Restore)。(1)数据备份和恢复:ES集群中的数据通常非常重要,因此需要定期备份和恢复数据。

走向CTO的路上... 1260

Elasticsearch的快照

snapshot是一个ES集群或者某个指定索引的备份,快照一般用在

那些年匆匆 2702

【Elasticsearch】Elasticsearch:Searchable snapshot - 可搜索的快照

可搜索快照使你可以使用快照(snapshot)以极具成本效益的方式搜索不经常访​​问的只读数据。冷的(cold)和冻结的(frozen)数据层使用可搜索的快照来减少存储和运营成本。可搜索的快照消除了对副本分片 (replica shards)的需求,从而有可能使搜索数据所需的本地存储减半。可搜索快照依赖于已经用于备份的快照机制,并且对快照存储库存储成本的影响最小。

九师兄 1027

Elasticsearch:搜索快照 - 实现大数据的可搜索性

在处理大规模数据时,Elasticsearch的搜索快照功能为我们提供了一种有效的方式来实现数据的可搜索性和高性能。总结一下,Elasticsearch的可搜索快照功能为我们提供了一种高效的方式来实现大数据的可搜索性。搜索快照是Elasticsearch中的一个功能强大的特性,它允许我们对数据进行快速的全文搜索。通过创建可搜索的快照,我们可以在大规模数据集上执行高效的搜索操作,而无需对每个文档进行实时索引。通过上述代码,我们可以看到,使用可搜索的快照,我们可以在大量数据上执行快速和高效的搜索操作。

qq_39605374的博客 336

Elasticsearch引入可搜索快照(searchable snapshot)

文章目录不断发展的旅程引入可搜索快照Cold层Frozen层优化最佳用户体验可搜索快照和我们的解决方案旅程还在继续今天就开始尝试 在7.10中,我们很高兴地发布了可搜索快照的beta版,这个功能改变了你使用你所选择的对象存储(如AWS S3、Microsoft Azure Storage、Google Cloud Storage或同等产品)的方式,让你可以在: 大幅降低存储成本 在Elastic Stack中摄取和保留更多数据 快速搜索性能 这三者之间进行权衡。虽然我们已经支持将数据备份到低成本的对象存

点火三周的专栏 1万+

46、Elasticsearch 快照管理全解析

本文详细解析了Elasticsearch的快照管理功能,包括快照的基础概念、存储库的注册、快照的创建与恢复、快照删除、自动化快照策略以及企业版中的可搜索快照功能。通过手动操作和自动化策略,用户可以高效地保护和管理集群数据。文章还提供了操作对比表格、流程图及最佳实践建议,帮助读者全面掌握Elasticsearch快照管理的核心要点。

win55的博客 132

干货 | Elasticsearch 可搜索快照深入详解

0、可搜索快照认知前提Elasticsearch 可搜索快照是 7.10 版本才有的新功能,之前呼声非常高。Elastic 官方网站用一整页面介绍,可见对该功能的重视。https://ww...

铭毅天下Elasticsearch 3714

stm32h743的hrtim使用生成pwm波

HRTIM(High-Resolution Timer)是一种高精度定时器,其时钟频率可直接与CPU主频同步,达到480MHz。相比之下,其他传统定时器需挂载在APB总线上,受总线频率限制,最高仅支持240MHz。这种直接时钟同步机制显著提升了定时器的分辨率和精度。

d13211322的博客 1614

高分创新点!Mamba+CNN结合,发顶会首选!

研究摘要 近期视觉领域涌现CNN与Mamba的融合架构,通过双分支设计互补优势。ConvMamba结合CNN的局部特征提取与Mamba的全局建模能力,在ImageNet分类任务中实现90.2%准确率,推理速度提升1.8倍。医学图像方向,PGM-UNet引入提示引导残差Mamba模块,结合多尺度空洞卷积与KANs,显著提升分割精度;遥感领域CM-UNet通过CSMamba块与多尺度注意力聚合模块,有效捕捉长距离依赖。这些工作表明,跨模态轻量化融合与注意力优化是未来重要方向。

m0_73122726的博客 1016

Elasticsearch:Searchable snapshot - 可搜索的快照

可搜索快照使你可以使用快照(snapshot)以极具成本效益的方式搜索不经常访​​问的只读数据。 冷的(cold)和冻结的(frozen)数据层使用可搜索的快照来减少存储和运营成本。 可搜索的快照消除了对副本分片 (replica shards)的需求,从而有可能使搜索数据所需的本地存储减半。 可搜索快照依赖于已经用于备份的快照机制,并且对快照存储库存储成本的影响最小。 如上所示,针对一个时序数据来说,如果每天采集 3TB 的数据,那么一周将导致 21TB 的数据,而一个月将是 90TB 的数据,一

Elastic 中国社区官方博客 3461

SDR实战(四)-AD9361使用手册(三)

本节定义了并行数据端口和串行外设接口(SPI),它们使得AD9361与基带处理器(BBP)之间能够传输数据和控制/状态信息。图63展示了这些接口,并提供了AD9361和BBP在宽带无线系统中使用方式的高级概述。数据接口以两种模式之一运行:兼容标准CMOS模式或兼容低压差分信号(LVDS)模式。每个接口都具有以下部分描述的独特特性。使用CMOS模式时:保持了单端-CMOS逻辑兼容性。可以使用一个或两个数据端口。使用两个端口可以提高数据吞吐量。

hutx0924的博客 6249

Elasticsearch 可搜索快照

可搜索快照可以让快照以非常经济高效的方式搜索不常访问的只读数据。Cold tier 和 frozen tier 使用可搜索的 快照来降低存储和运营成本。可搜索的快照不需要分片副本,理想情况下,可为数据存储节省一半所需的本地存储空间。可搜索快照依赖于已用于备份的相同快照机制,并且对快照存储库存储成本的影响最小。可搜索快照非常适合管理大量历史数据存档。历史信息的搜索频率通常低于最近的数据,因此可能不需要副本来获得性能优势。对于更复杂或更耗时的搜索,可以结合异步搜索一起使用。 3 工作原理 如果持有其中一个分片的

Elastic开源社区 634

手把手教你配置MAX96712解串器:从I2C地址分配到PWM帧同步

本文详细解析了MAX96712解串器在自动驾驶视觉链路中的核心配置流程。从I2C地址分配、GMSL2数据流映射到实现多摄像头精准同步的PWM帧同步触发,手把手指导工程师构建高可靠性的图像传输系统,并提供了实用的Linux调试技巧与问题排查思路。

weixin_29297127的博客 929

半导体行业周期分析:库存、需求与复苏路径深度解读

半导体行业作为现代科技产业的基石,其周期性波动受供需关系、库存水平和宏观经济等多重因素影响。从技术原理上看,行业景气度通常通过库存周转天数、晶圆厂产能利用率等核心指标进行监测,这些指标反映了产业链各环节的健康状况。在工程实践中,理解这些指标有助于企业进行库存管理和产能规划,从而提升运营效率。当前,半导体市场正经历结构性分化,其中**库存周转天数**和**晶圆厂产能利用率**成为判断市场拐点的关键。在应用场景上,汽车电子、人工智能等领域需求相对稳健,而消费电子则面临较大压力。本文聚焦于半导体行业的周期特征,探

weixin_29549793的博客 696

Easysearch 可搜索快照功能,看这篇就够了

可搜索快照功能改变了我们对备份数据的查询方式。以往要查询备份数据时,要先找到备份数据所在的快照,然后在一个合适的环境中恢复快照,最后再发起请求查询数据。这个处理路径很长,而且很消耗时间。可搜索快照功能将大大简化该处理路径,节约时间。

infinilabs的博客 886

YOLOv8模型压缩终极方案:LAMP剪枝实战,速度提升不掉点

一个庞大的模型虽然强大,但在实际部署,尤其是资源受限的边缘设备(如无人机、移动电话、嵌入式系统)上,却面临着严峻的挑战:高昂的内存占用、巨大的计算量以及随之而来的高延迟和高能耗。本教程从LAMP剪枝的深刻理论出发,详细解释了它如何通过最小化最坏情况下的L2失真,并借助巧妙的数学简化,最终推导出一种高效、无超参数、层自适应的剪枝策略。它如同为臃肿的模型进行一次精准的“瘦身手术”,通过移除网络中冗余或不重要的权重、神经元甚至整个结构,来显著降低模型的参数量和计算量(FLOPs),从而实现推理加速和资源节约。

LXY_LOVE36的博客 177

elasticsearch快照存储和恢复

背景: 由于同事误操作,公司的elasticsearch集群Linux被强制断电了,导致文件系统受损变为read only状态。一开始的解决方案是:尝试文件系统,但总是在数天以后再次read only。只得准备将elasticsearch 索引数据做快照,然后回放到全新的操作系统中。下面是参考官方文档(elasticsearch 7.17)的快照。

WIKM_INKM的博客 1864

从0玩转Mamba神经网络:理论+实战的保姆级教程

Mamba神经网络是一种基于状态空间模型(SSM)的高效序列处理架构,相比Transformer具有更快的推理速度和更低的内存消耗。本文提供从理论到实践的完整指南,详细讲解Mamba的工作原理、与Transformer的差异,并给出基于PyTorch的文本分类实战示例。教程包含环境配置、数据处理、模型搭建、训练评估全流程,展示了Mamba在IMDb情感分析任务中的应用。文章还探讨了Mamba的性能优势及进阶方向,为开发者提供了探索这一新兴技术的实用指南。通过阅读本文,读者可以快速掌握Mamba的核心概念并上

FJN110的博客 319

vue3 - vite报错TypeError: crypto.hash is not a function(vue3+vite启动运行提示错误,项目无法启动且打包报错失败,详细解决排查方案教程)

vue3 vite 报错,vue3+vite启动报错:TypeError: crypto.hash is not a function,创建vue3+vite项目时报错TypeError: crypto.hash is not a function,如何解决这个问题,VUE3+VITE报错crypto.hash,vue3运行报错,vite运行报错,vue3打包报错,vite打包报错,vue3新建项目无法运行,vue3 vite创建项目直接报错了,node版本不兼容,修改了node版本还是不行,依旧报错,一直

✅ 精选推荐文章 1万+

大幅降低存储成本,Elasticsearch可搜索快照是如何办到的?

大幅降低存储成本,Elasticsearch可搜索快照是如何办到的 导语 | Elasticsearch 7.10 版本最近发布,该版本有一个重磅特性:Searchable snapshots (可搜索快照功能),可以大幅度地降低存储成本。那么 Searchable snapshots 的使用方式和实现效果是怎样的呢,下面就让我们来一探究竟吧!本文作者:高斌龙,腾讯云大数据研发工程师。 一、功能介绍 在 Searchable snapshots 可搜索快照功能发布之前,通过调用 _snapsho.

kukakiak的博客 426

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Elasticsearch - 彻底搞懂 Elasticsearch 快照:从段文件到灾难恢复

摘要 Elasticsearch副本不能替代备份,误操作或灾难性故障可能导致数据永久丢失。官方唯一支持的备份方式是快照(snapshot),其基于Lucene段文件的不可变特性实现增量备份,仅上传新增段文件并复用已有文件。快照必须存储在外部仓库(如S3/NFS),且同一仓库只能被一个集群写入。创建快照时可指定索引模式、忽略缺失索引等参数,include_global_state控制是否备份集群配置。高频快照成本低,但force merge会破坏增量性。恢复时需注意全局状态可能被意外回滚,生产环境建议将数据和

小工匠 645

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Elasticsearch:增量快照如何工作?

快照(snapshot)是正在运行的 Elasticsearch 集群的备份。定期备份集群,无需停机删除或硬件故障后恢复数据集群之间传输数据通过在热、冷和冻结数据层中使用可搜索快照来降低存储成本。

Elastic 中国社区官方博客 2300

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

ElasticSearch 8.x 使用 snapshot(快照)进行数据迁移

Elasticsearch 的快照就是指对数据和元数据的定期备份。因为快照中不仅包含了所有数据,也包含了所有的相关信息,比如:映射、配置等;这些快照可以保存在本地文件系统,也可以保存在共享文件系统或者专门存储快照的地方。 在快照的概念中,数据并不都是每次全部备份一遍,而是采用增量的方式进行进行备份。首次备份会进行全力备份,而后续的备份则是在上一次备份后的更新的数据,增量备份可以有效地减少备份所需的存储空间和节省时间。

qq_19283249的博客 2844
上一篇: 流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓
下一篇: 专家带你吃透 Flink 架构:一个新版 Connector 的实现
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值