ElasticSearch基本概念

集群(Cluster)

集群是一个或多个节点(服务器)的集合,它们一起保存整个数据,并提供跨所有节点的联合索引和搜索功能。集群由集群名唯一名称标识(默认名称为“elasticsearch”)。集群名称很重要,因为如果节点设置为通过集群名称加入集群,则节点只能成为集群的一部分。 确保不要在不同的环境中重复使用相同的群集名称,否则可能会导致节点加入错误的集群。例如,您可以使用logging-dev,logging-stage和logging-prod分别作为dev、stageing、prod集群的名称。

节点(Node)

节点是隶属于集群的单个服务器,存储数据并参与集群的索引和搜索功能。像集群一样,节点也由一个名称来标识,默认情况下该名称是在启动时分配给节点的随机通用唯一标识符(UUID)。如果不需要默认值,可以定义任何您想要的节点名称。此名称对于管理目的非常重要,您需要确定网络中的哪些服务器与Elasticsearch群集中的哪些节点相对应。 可以将节点配置为按集群名称加入特定集群。默认情况下,每个节点都设置为加入名为elasticsearch的集群,这意味着如果启动网络中的多个节点并假设他们可以发现其他节点,它们将自动形成并加入名为elasticsearch的单个集群。 在单个群集中,您可以拥有任意数量的节点。此外,如果网络上当前没有其他Elasticsearch节点正在运行,则默认情况下启动单个节点会形成一个名为elasticsearch的新单节点群集。

索引(Index)

索引是一些具有相似特征的文档集合。例如,您可以拥有客户数据的索引,产品目录的另一个索引以及订单数据的另一个索引。索引由名称(必须全部为小写)标识,并且此名称用于在对其中的文档执行索引,搜索,更新和删除操作时引用索引。 在单个群集中,您可以根据需要定义多个索引。

类型(Type)

在索引内,您可以定义一个或多个类型。类型是索引的逻辑类别/分区,其语义完全取决于开发者。通常,为具有一组公共字段的文档定义类型。例如,假设您运行博客平台并将所有数据存储在单个索引中。在此索引中,您可以为用户数据定义类型,为博客数据定义另一种类型,并为注释数据定义另一种类型。

文档(Document)

文档是可被索引的基本信息单位。例如,可以为单个客户提供文档,为单个产品提供另一个文档,为单个订单提供另一个文档。本文档以JSON(JavaScript Object Notation)表示,它是一种无处不在的互联网数据交换格式。 在索引/类型中,可以根据需要存储任意数量的文档。请注意,尽管文档实际上驻留在索引中,但实际上文档必须被索引/分配给索引内的类型。

分片和主从复制(Sharding&Replication)

索引可能存储大量数据,这些数据可能会超出单个节点的硬件限制。例如,占用1TB磁盘空间的十亿份文档的单个索引可能不适合单个节点的磁盘,或者可能太慢而无法单独向单个节点提供搜索请求。 为了解决这个问题,Elasticsearch提供了将索引细分为多个碎片的能力。当您创建索引时,您可以简单地定义所需的碎片数量。每个分片本身都是一个功能齐全且独立的“索引”,可以在集群中的任何节点上进行托管。 分片很重要,主要有两个原因:

它允许水平分割/缩放索引

它允许跨越分片(可能在多个节点上)分发和并行化操作,从而提高性能/吞吐量

分片如何分布的机制以及其文档如何聚合回搜索请求完全由Elasticsearch管理,并且对用户透明。

在随时可能出现故障的网络/云环境中,强烈建议有一个故障切换(fail over)机制,以防碎片/节点以某种方式脱机或因任何原因而消失。为此,Elasticsearch允许您将索引碎片的一个或多个副本制作为简称为副本碎片或副本。

复制很重要,主要有两个原因:

它在碎片/节点失败的情况下提供高可用性。由于这个原因,需要注意的是,副本分片永远不会分配到与从中复制的原始/主分片相同的节点上。

它允许您扩展搜索量/吞吐量,因为搜索可以在所有副本上并行执行。

总而言之,每个索引可以分成多个分片。索引也可以被复制为零(意味着没有副本)或更多次。一旦复制,每个索引将具有主分片(从中复制的原始分片)和副本分片(主分片的副本)。在创建索引时,可以为每个索引定义分片和副本的数量。在创建索引之后,您可以随时更改动态副本的数量,但您无法在事后更改碎片的数量。 默认情况下,Elasticsearch中的每个索引都分配了5个主分片和1个副本,这意味着如果群集中至少有两个节点,则索引将包含5个主分片和另外5个副本分片(1个完整副本),总共每个索引10个碎片。

### Elasticsearch基本概念 #### 节点与实例 节点是指一个 Elasticsearch 实例,其本质上是一个 Java 进程。每台机器可以运行多个 Elasticsearch 实例,但在生产环境中通常建议每台机器仅运行一个实例以优化性能和资源管理[^1]。 #### 集群组成 Elasticsearch 是一种分布式搜索引擎,由多个节点共同组成一个集群。一个集群至少包含一个节点,而每个节点都可以拥有多个索引[^4]。 #### 数据存储单元:索引、分片与副本 - **索引**:类似于传统数据库中的表,用于存储文档集合。 - **分片 (Shard)**:为了提高可扩展性和性能,索引被划分为若干个主分片(Primary Shard),这些分片分布在不同的节点上,默认情况下每个索引会被分成 5 个主分片。 - **副本 (Replica)**:每个主分片都有对应的副本分片(Replica Shard),用于提供冗余备份以及增强读取操作的能力。默认情况下,每个主分片都会有一个副本。 #### 数据定位机制 当向 Elasticsearch 插入一条数据时,系统会基于指定的关键字(Key)计算该条记录应归属于哪一个分片。此关键字通常是自动生成的 ID 或者可以根据具体需求设置成其他字段值,例如在某些业务场景下可能选用 `CompanyID` 作为 Key 来实现更精确的数据分布控制[^5]。通过下面这个公式完成分片的选择过程: ```plaintext shard_num = hash(_routing) % num_primary_shards ``` #### 功能特性 Elasticsearch 将全文搜索、结构化查询及数据分析等功能融合为一体,并能高效处理海量级数据集,在接近实时的时间范围内支持复杂的搜索请求和统计分析任务[^2]。它非常适合应用于大规模的日志监控、网站内容检索以及其他需要快速响应的大规模数据访问场合;而对于那些强调严格一致性且涉及较多关联运算的应用,则更适合采用 MySQL 等关系型数据库解决方案[^3]。 ### 示例代码展示如何创建简单的索引 以下是利用 Python 对接 Elasticsearch 并创建新索引的一个例子: ```python from elasticsearch import Elasticsearch es_client = Elasticsearch(["http://localhost:9200"]) index_name = "test_index" if not es_client.indices.exists(index=index_name): settings = { "settings": { "number_of_shards": 3, "number_of_replicas": 1 }, "mappings": { "properties": { "title": {"type": "text"}, "content": {"type": "text"} } } } response = es_client.indices.create(index=index_name, body=settings) print(f"Index created successfully {response}") else: print("Index already exists.") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值