es-Ingest pipelines

童小绿

已于 2022-05-22 23:47:35 修改

阅读量911

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记文章标签： elasticsearch 大数据 big data

于 2022-05-22 23:46:08 首次发布

本文链接：https://blog.youkuaiyun.com/tsj11514oo/article/details/124918873

本文详细介绍了Elasticsearch的Ingest Pipelines，包括其作为数据预处理工具的角色，官方文档链接，使用pipeline的必要条件，pipeline的组成和使用步骤。还列举了常用的处理器，如Append、Foreach、uppercase、Lowercase等，用于数据转换和预处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Ingest pipelines

node为ingest角色，对indexing request做预处理，主要用于数据转换为合规、期望值的场景

官方地址：

https://www.elastic.co/guide/en/elasticsearch/reference/7.13/ingest.html#ingest

使用pipeline必要条件

node角色必须为：ingest

pipeline的组成

{
   
   
  "description" : "...",
  "processors" : [ ... ]
}

description：描述
processor: pipeline中的每个处理单元，pipeline的能力都由processor来提供
pipeline: es对indexing的doc做一些预处理的程序，pipeline可定义了很多个processor单元

pipeline的使用

1.创建pipeline

PUT _ingest/pipeline/my-pipeline
{
   
   
  "description": "My optional pipeline description",
  "processors": [
    {
   
   
      "set": {
   
   
        "description": "My optional processor description",
        "field": "my-long-field",
        "value": 10
      }
    },
    {
   
   
      "lowercase": {
   
   
        "field": "my-keyword-field"
      }
    }
  ]
}