一个十万用户数量的ES集群，如何设计多少副本，多少分片？

已于 2024-08-31 23:13:28 修改
阅读量415 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 运维
于 2024-08-31 23:11:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_56408123/article/details/141760578

ES中的关键概念：分片（Shards）和副本（Replicas）

  • 分片是索引数据的逻辑分割，每个分片都是一个独立的数据容器，可以独立存储、搜索和恢复。分片的主要目的是水平扩展ES，以处理大量数据
  • 副本分片是分片的副本，用来提高数据的可靠性和容错能力。副本分片不参与搜索和写入操作，但在主分片不可用时可以接替其工作
  • 在规划集群时，通常会根据集群的预期负载和性能需求来设置分片和副本的数量，可以以此未参考：
    • 分片数：根据ES官方建议，每个分片最大约为1GB，对于一个拥有十万用户的数据集，假设每个用户的数据占优约1KB，那么总数据量约为10MB
      • 如果我们将每个分片的大小设置为1GB，那么这个集群将需要10分片（10GB/1GB）
    • 副本数：副本数量是通常设置为1或更高，这取决于集群的高可用需求和容错能力
      • 为了提高可用性，常用的做法是将副本数量设置为与分片数相同，及also have 10 replicas

综上所述：
分片数：10
副本数：10
这只是一个基于假设和简化计算的参考值，实际的集群规划还需要考虑：数据访问模式、查询负载、硬件资源限制、以及扩展性等

ElasticSearch（2）—— ElasticSearch的集群、节点、索引、分片和副本
shangjg3的博客
11-08 2364
默认情况下，Elasticsearch中的每个索引被分片1个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有1个主分片和另外1个复制分片（1个完全拷贝），这样的话每个索引总共就有2个分片，我们需要根据索引需要确定分片个数。默认情况下，Elasticsearch中的每个索引被分片1个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有1个主分片和另外1个复制分片（1个完全拷贝），这样的话每个索引总共就有2个分片，我们需要根据索引需要确定分片个数。
Elasticsearch 的节点、集群、分片和副本 全面解析
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-19 2052
每个节点都是一个独立的工作单元，负责存储数据、参与数据处理（如索引、搜索、聚合等）以及参与集群的协调工作。一个索引由多个主分片和对应的副本分片组成。例如，若一个索引配置了 5 个主分片和每个主分片有 1 个副本，则该索引总共有 10 个分片（5 个主分片 + 5 个副本分片）。集群是由一个或多个节点组成的 Elasticsearch 实例集合，它们协同工作，对外表现为单一的搜索和索引服务。每个索引可以被划分为多个分片，每个分片都是一个完整的 Lucene 索引，包含索引的一部分数据。
Elasticsearch基础篇(七)：分片大小修改和路由分配规则
后端开发
01-12 4546
这样设计可以提高系统的可用性和容错性，因为数据的多个副本分布在不同的节点上，即使某个节点发生故障，系统仍然可以继续工作。副本分片是主分片的完整复制，位于不同的节点上。主分片的数量是索引创建时固定的，因为这个值与数据的分布和索引结构有关。每个索引都被划分成若干个主分片，每个主分片都是一个独立的索引。往索引中增加100条数据，文档分布如下：三个主分片的文档数量正好为100，随着文档数量的增加，三个主分片的数量会越来越均衡。在完成重新索引后，将应用中的写操作切换到新的索引，确保新数据写入新的索引。
ES主分片和副本分片
Jak的博客
08-09 2104
主分片的数量：可以设置为 1 到 1024 之间的任意值，但具体数量应根据数据量、硬件资源和查询需求来决定。不可更改：主分片的数量在索引创建后无法更改。性能评估：合理评估主分片的数量，为性能和资源利用权衡做出最佳决策。怎么理解主分片，数据分到各个节点吗在 Elasticsearch 中，**主分片（Primary Shards）**是存储数据的核心元素，它们在集群中负责处理具体的存储和搜索请求。以下是对主分片的详细理解，包括数据如何分布到各个节点。主分片是数据存储的基础单位。
Elasticsearch 索引副本数
最新发布
Elastic 中国社区官方博客
05-16 1160
本文由Elastic的Kofi Bartlett撰写，详细解释了如何配置Elasticsearch中的number_of_replicas参数，其影响及最佳实践。number_of_replicas控制每个主分片的副本数量，默认值为1。增加副本数可以提高数据冗余和搜索性能，但会降低写入性能并增加存储需求。最佳实践建议：单节点集群应设置为0，多节点集群至少为1，且需根据集群节点数量和数据需求进行权衡。文章还提供了配置和更新该参数的具体方法，并强调了在性能和存储之间找到平衡的重要性。
【Elasticsearch】基础概念（一）
无知而狂妄
09-26 295
ES中分片数和副本数需要按照实际情况进行合理分配，参考上述公式。ES中的type默认填写_doc即可，相比于index变多不如使index更大更有利于ES查询。记忆ES索引和文档时，尽量不要与MySQL相关概念一起记忆。ES在已有索引上只能新增字段可以通过命令或者ES自动创建来实现，不允许修改字段。
ES的副本数量、插入大批量数据前，副本数应该设置为0
05-22 1679
多副本可以提升检索的能力，但是如果副本数量太多，插入数据的时候容易出现卡顿现象； 因为主分片要把数据同步给所有的副本，所以建议副本数量最好是1-2个； ---- Es在索引数据的时候，如果存在副本，那么主分片会将数据同时同步到副本； 如果当前插入大量数据，那么会对es集群造成一定的压力，所以在插入大量数据前，也就是在建立索引的时候，我们最好把副本数设置为0；等数据建立...
【Elasticsearch】Elasticsearch的分片和副本机制
热门推荐
屿小夏.的知识博客
07-15 7万+
Elasticsearch是一种分布式搜索和分析引擎，它具有高扩展性和高可用性。为了实现这些特性，Elasticsearch引入了分片（Shard）和副本（Replica）的概念。本文将详细介绍Elasticsearch中的分片和副本机制，帮助读者理解它们的重要性及其实现方法。分片是Elasticsearch中存储数据的基本单位。一个索引可以由多个分片组成，每个分片都是一个独立的Lucene索引。通过分片，Elasticsearch可以将数据分布到多个节点上，从而实现数据的分布式存储和并行处理。
Elasticsearch ：分片（Shards）数量上限？副本的数量？
喝醉酒的小白
01-21 3030
虽然 Elasticsearch 没有一个硬性限制分片数量的上限，但过多的分片会影响集群的性能和稳定性。合理设置每个索引的分片数量，避免创建过多小分片，确保分片大小和集群规模匹配，是保证集群高效运行的关键。副本数量没有明确的最大限制，但实际可配置的副本数量取决于集群的存储容量、计算资源、节点数量、性能需求和写入/读取负载等因素。增加副本数量会提高数据冗余性和查询性能，但会增加存储需求和对集群资源的消耗，因此应根据实际需求合理配置副本数量。你可以通过修改索引的设置来调整副本数量，使用PUT请求来更新。
es动态分配分片_Elasticsearch 集群分配多少分片合理
weixin_33724434的博客
01-12 1446
Elasticsearch 是一个非常通用的平台，支持各种用户实例，并为组织数据和复制策略提供了极大的灵活性。但是，这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片，尤其是不熟悉 Elastic Stack。虽然不一定会在首次启动时引起问题，但随着数据量的增长，它们可能会导致性能问题。群集拥有的数据越多，纠正问题也越困难，因为有时可能需要重新索引大量数据。因此，当我们遇到性能问...
Elasticsearch节点、副本、分片规划
qq_32020645的博客
09-25 1582
每个分片存储数据量可以控制在几GB到几十GB之间，涉及到时间相关数据场景中，分片可以控制在20GB到40GB之间 ，大多数场景分片大小限制在50G以内。可以根据索引数据总量估算每个索引对应的分片数。如果索引的数据总量在1GB内，每个索引分配1个分片即可。
【ElasticSearch系列-07】ES的开发场景和索引分片的设置及优化
zhenghuishengq的博客
11-09 2514
Es的开发场景和索引分片的设置和优化
关于ES分片设置的6个建议
大数据，大模型，服务器，技术、架构，方案
03-31 9972
通过时序型索引，用户还能随着时间推移轻松调整主分片和副本分片的数量，这是因为用户可针对要生成的下个索引进行这方面的更改。Elasticsearch 在对数据进行再平衡（例如发生故障后）时移动分片的速度取决于分片的大小和数量，以及网络和磁盘性能。尽管并没有关于分片大小的固定限值，但是人们通常将 50GB 作为分片上限，而且这一限值在各种用例中都已得到验证。，但是在此限值范围内，您设置的分片数量越少，效果就越好。从集群角度来说，索引和分片都不是免费的，因为每个索引和分片都会产生一定的资源开销。
ES 索引分片数、副本数优化
u012061196的博客
10-27 6630
分片（shard）：一个ES的index由多个shard组成，每个shard承载index的一部分数据。 副本（replica）：index也可以设定副本数（number_of_replicas），也就是同一个shard有多少个备份。对于查询压力较大的index，可以考虑提高副本数（number_of_replicas），通过多个副本均摊查询压力 shard数量（number_of_shards）设置过多或过低都会引发一些问题：shard数量过多，则批量写入/查询请求被分割为过多的子写入/查询，导...
es集群设计
coderlaw's study
04-17 2733
es集群设计 节点 CPU 内存 硬盘 备注 master101 4 16G 2T client node102 4 16G 2T master node103 4 16G 2T datanode node104 4 16G 2T datanode node105 4 16G 2T
ES分片和副本
qq_37436172的博客
05-21 4665
通过该图, 记住下面的几个定义:集群(cluster):由一个或多个节点组成, 并通过集群名称与其他集群进行区分es集群一般有几个master“ • 一个正常es集群中只有一个主节点(Master),主节点负责管理整个集群。节点(node):单个ElasticSearch实例. 通常一个节点运行在一个隔离的容器或虚拟机中索引(index):在ES中, 索引是一组文档的集合。
配置ES的分片数和副本数
大城小事
03-26 1056
PUT /indexname { "settings" : { "index" : { "number_of_shards" : 3, "number_of_replicas" : 2 } } } 控制分片大小在50GB左右
ES中 节点数量，分片数量，副本数量关系配比
一个写湿的程序猿
02-19 1万+
ES中 节点数量，分片数量，副本数量关系配比问题节点数量主分片数量两个问题：解决：副本分片数量两个注意事项总结一下 问题 创建索引库的时候，要设计分片数量和副本数量，分片和副本是分布式搜索引擎的核心。 如何指定分片进行增删改查操作？ 每个分片存储多少数据合适？ 我们的文档存在哪个分片中？ 为什么不可以修改主分片数量？ 一次完整的ES查询流程怎么流的？ 节点数量 节点数量很好说，你要是只有两三个服务器，还想啥自行车呢。 当然节点的数量还是有约束的。 一般情况下： 集群所有索引的副本最大值+1 <= 集群
elasticsearch修改es集群的索引副本数量
Bertram的博客
08-18 2411
elasticsearch修改es集群的索引副本数量
ES集群一共有3个节点，适合创建的分片数和副本数是多少
07-17
当 Elasticsearch 集群有3个节点时，适合创建的分片数和副本数的建议如下： 1. 分片数：在一个3节点的集群中，可以考虑创建3个主分片（primary shard）。每个主分片将分布在不同的节点上，确保数据的分散性和负载均衡。通过将索引数据分散到多个主分片上，可以提高查询和索引的并行性。 2. 副本数：对于副本数，可以根据可用资源和冗余备份需求来选择。通常建议至少创建一个副本（replica）来提供数据的冗余备份和提高高可用性。在3节点的集群中，可以将副本数配置为1，这样每个主分片将有一个副本。 综上所述，一个适合3节点集群的索引配置可能如下： - 主分片数：3 - 副本数：1 这样的配置可以确保数据的分布和冗余备份。同时，这种配置也适用于较小规模的集群，因为每个节点需要承担主分片和副本分片的负载。如果集群规模更大或需要更高的冗余备份，可以增加节点数量和副本数来满足需求。但请注意，增加副本数会增加系统资源开销和网络传输量，因此需要权衡存储和性能需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值