ElasticSearch那些事儿（三）

关注

原创最新推荐文章于 2026-03-30 10:41:21 发布 272 阅读 AI 写同款· GEO 优化 ›

MySQL数据以全量和增量方式，同步到ES搜索引擎知识的广度来自知识的深度，学习如果不成体系那是多可怕的一件事儿，希望我们在未来的学习道路上坚守初心，不要给自己留下遗憾，以自己喜欢的方式生活，做自己喜欢做的事，宠爱自己，做一个独一无二的自己！对于文章中出现的任何错误请大家批评指出，会及时做出修改！有任何想要讨论和学习的问题可联系我：cittaksana@qq.com MySQL数据以全量和增量方式，同步到ES搜索引擎一、配置详解1、下载内容2、核心配置3、启动进程二、ES客户端工具一、配置详解场景描述：MySQL数据表以全量和增量的方式向E. 阅读详情

集群健康

让我们从一个基本的健康检查开始，我们可以使用它来查看集群的运行情况。我们将使用curl来完成此任务，但是您可以使用任何允许进行HTTP/REST调用的工具。假设我们仍然在启动Elasticsearch并打开另一个命令shell窗口的同一节点上。

curl -X GET "localhost:9200/_cat/health?v"

响应格式：

epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1475247709 17:01:49  elasticsearch green           1         1      0   0    0    0        0             0                  -                100.0%

每当我们请求集群健康时，我们要么得到green，yellow， red。

Green - 一切都很好(集群功能齐全)
Yellow - 所有的数据都是可用的，但是有些副本还没有分配(集群功能齐全)
Red - 由于某种原因，有些数据不可用(集群具有部分功能)

注意：当集群是红色时，它将继续为可用碎片的搜索请求提供服务，但是您可能需要尽快修复它，因为存在未分配的碎片。

同样，从上面的响应中，我们可以看到总共有1个节点，并且我们有0个碎片，因为我们还没有数据。注意,因为我们使用的是默认集群名称(elasticsearch)和由于elasticsearch使用单播网络发现默认情况下找到其他节点在同一台机器上,这是可能的,你可以不小心启动多个节点在你的电脑上,让他们加入一个集群。在这个场景中，您可能会在上面的响应中看到不止一个节点。

我们还可以得到集群中的节点列表，如下所示：

curl -X GET "localhost:9200/_cat/nodes?v"

响应格式：

ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1           10           5   5    4.46                        mdi      *      PB2SGZY

在这里，我们可以看到一个名为“PB2SGZY”的节点，它是当前集群中的单个节点。

现在我们来看看索引：

curl -X GET "localhost:9200/_cat/indices?v"

响应格式：

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

这意味目前我们还没有任何一个索引数据。

创建索引

现在我们创建一个名为customer的索引，然后再列出所有的索引。

curl -X PUT "localhost:9200/customer?pretty"
curl -X GET "localhost:9200/_cat/indices?v"

第一条命令是用PUT方法创建一个名为customer的索引。我们只是在调用末尾添加了pretty，让它漂亮地打印JSON响应(如果有数据的话)。

响应格式：

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   customer 95SQ4TSUT7mWBT7VNHH67A   5   1          0            0       260b           260b

第二个命令的结果告诉我们，我们现在有一个名为customer的索引，它有5个主碎片和1个副本(默认值)，其中包含0个文档。

您可能还会注意到，客户索引有一个黄色的健康标记。回想一下我们之前的讨论，黄色表示一些副本尚未分配。之所以会出现这种情况，是因为Elasticsearch默认为索引创建了一个副本。因为我们现在只有一个节点在运行，所以在另一个节点加入集群之后，才能分配一个副本(为了高可用性)。一旦将副本分配到第二个节点上，该索引的健康状态将变为绿色。

索引并且查询一个文档

现在让我们放一些东西到我们的customer索引。我们将把一个简单的客户文档索引到客户索引中，ID为1，如下所示:

curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d '{"name": "John Doe"}'

响应格式：

{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

从上面，我们可以看到一个新的客户文档成功地在customer索引中创建。文档还有一个内部id 1，我们在索引时指定了它。

需要注意的是，Elasticsearch并不要求您首先显式地创建索引，然后才能将文档编入索引。在前面的示例中，如果事先不存在customer索引，Elasticsearch将自动创建customer索引。

现在让我们检索刚才索引的文档：

curl -X GET "localhost:9200/customer/_doc/1?pretty"

响应格式：

{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "name" : "John Doe"
  }
}

这里没有什么特别的，除了一个字段，found，声明我们找到了一个包含请求ID 1和另一个字段_source的文档，该字段返回我们从上一步中索引的完整JSON文档。

删除一个索引

现在让我们删除我们刚刚创建的索引，然后再一次列出所有的索引：

curl -X DELETE "localhost:9200/customer?pretty"
curl -X GET "localhost:9200/_cat/indices?v"

响应格式：

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

这意味着索引被成功删除了，现在，我们回到了我们刚启动集群，里面一无所有的地方。

在我们继续之前，让我们再仔细看看我们到目前为止学习的一些API命令:

# 创建索引
curl -X PUT "localhost:9200/customer"
# 往索引里增加一条文档
curl -X PUT "localhost:9200/customer/_doc/1" -H 'Content-Type: application/json' -d' {"name": "John Doe"}'
# 查询索引里的文档
curl -X GET "localhost:9200/customer/_doc/1"
# 删除索引
curl -X DELETE "localhost:9200/customer"

如果我们仔细研究上面的命令，我们实际上可以看到如何在Elasticsearch中访问数据的模式。这种模式可以概括如下:

<HTTP Verb> /<Index>/<Type>/<ID>

这个REST访问模式在所有API命令中都非常普遍，如果您能够简单地记住它，那么您将在掌握Elasticsearch方面有一个很好的开端。

修改你的数据

Elasticsearch提供几乎实时的数据操作和搜索能力。默认情况下，从索引/更新/删除数据到出现在搜索结果中，您可能会得到一秒钟的延迟(刷新间隔)。这是与其他平台(如SQL)的一个重要区别，SQL在事务完成后，数据立即可用。

索引/替换文档

我们之前已经学习了如何索引一个单一文档，现在让我们复习一下这个命令：

curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d '{"name": "John Doe"}'

同样，上面的代码将把指定的文档索引为customer索引，ID为1。如果我们用一个不同（或者相同）的文档再次执行上面的命令， Elasticsearch将在现有文档的基础上替换(即重新索引)一个新文档，ID为1:

curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Jane Doe"
}
'

以上将ID为1的文档名称从“John Doe”更改为“Jane Doe”。换句话说，如果我们使用一个不同的ID，一个新的文档将被索引并且在索引里已经存在的文档未被提及。

curl -X PUT "localhost:9200/customer/_doc/2?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Jane Doe"
}
'

以上将索引一个ID为2的新文档。

索引时，文档ID是可选的，如果没有指定，Elasticsearch将生成一个随机ID并且使用它来索引这个文档。实际的ID Elasticsearch生成的值(或者我们在前面的示例中显式指定的值)作为索引API调用的一部分返回。
这个示例展示了如何在没有显式ID的情况下对文档进行索引：

curl -X POST "localhost:9200/customer/_doc?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Jane Doe"
}
'

注意，在上面的例子中，我们使用POST谓词而不是PUT，因为我们没有指定ID。

更新文档

除了能够索引和替换文档外，我们还可以更新文档。不过请注意，Elasticsearch实际上并不会在引擎盖下进行就地更新。无论何时我们做一个更新操作，Elasticsearch将删除旧的文档然后更新后的结果对新文档进行索引。
这个例子展示了如何通过将name字段更改为“Jane Doe”来更新我们以前的文档(ID为1):

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "doc": { "name": "Jane Doe" }
}
'

这个例子展示了如何通过将name字段更改为“Jane Doe”同时增加一个age字段来更新我们以前的文档(ID为1):

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "doc": { "name": "Jane Doe", "age": 20 }
}
'

还可以使用简单的脚本执行更新。这个例子使用一个脚本将年龄增加5:

curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "script" : "ctx._source.age += 5"
}
'

在上面的例子中，是ctx._source是指将要更新的当前源文档。
Elasticsearch提供了在给定查询条件(如SQL update - where语句)下更新多个文档的功能。具体请看docs-update-by-query API

删除文档

删除文档相当简单。这个例子展示了如何删除我们以前的一个ID为2的客户文档:

curl -X DELETE "localhost:9200/customer/_doc/2?pretty"

查看_delete_by_query API以删除与特定查询条件相匹配的所有文档。值得注意的是，删除整个索引要比使用Query API删除所有文档高效得多。

批量处理

除了能够索引、更新和删除单个文档之外，Elasticsearch还可以使用_bulk API批量执行上述任何操作。这个功能非常重要，因为它提供了一种非常有效的机制，可以在尽可能少的网络往返的情况下尽可能快地执行多个操作。

作为一个快速示例，以下调用在一个批量操作中索引两个文档(ID 1 - John Doe和ID 2 - Jane Doe):

curl -X POST "localhost:9200/customer/_doc/_bulk?pretty" -H 'Content-Type: application/json' -d'
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }
'

这个示例更新第一个文档(ID为1)，然后在一个批量操作中删除第二个文档(ID为2):

curl -X POST "localhost:9200/customer/_doc/_bulk?pretty" -H 'Content-Type: application/json' -d'
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}
'

注意，对于删除操作，在删除之后没有相应的源文档，因为删除只需要删除文档的ID。
批量API不会因为其中一个操作失败而失败。如果一个操作由于任何原因失败，它将继续处理它之后的其余操作。当bulk API返回时，它将为每个操作提供状态(按照发送的顺序)，以便您可以检查某个特定操作是否失败。

收录于