【橘子ES】如何定义我们自己的管道类型

原创已于 2024-12-10 17:01:19 修改 · 1.2k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch

于 2024-09-03 14:48:03 首次发布

JAVA 同时被 2 个专栏收录

19 篇文章

订阅专栏

ELK

14 篇文章

订阅专栏

简介

上一篇文章中，我们最后编了一个需求，需求中有一个内容是去除一个tags数组中的一个词汇，我们用了script processor的操作来移除的。但是我们这次换个操作，那种用的还是ES自己内置的管道，感觉没逼格，我们作为开发，要弄就弄自己的管道。
于是这篇文章，我就会教你如何自己制作一个管道。我们这次来制作一个管道名字就叫levi_filter_word。
他的功能也简单，就是实现对于我们指定的字段，然后移除其中的值，直接替换为空。
你可能已经有个轮廓了，如果按照官方那些例子应该最后是这么个玩意。

PUT /_ingest/pipeline/my_pipeline_01
{
  "processors": [
    {
      "levi_filter_word": {
        "field": "name",
        "filterWord": "tmd"
      }
    }
  ]
}

这里面使用levi_filter_word管道，移除了name字段中的tmd。没毛病。
但是我就要全部自己改了，我的key就不写field，我写成myfield,下面那个替换的key我就不叫filterWord，我就叫myfilterWord。
于是按照我们的想法最后创造出来的应该是这样的。

PUT /_ingest/pipeline/my_pipeline_01
{
  "processors": [
    {
      "levi_filter_word": {
        "myfield": "name",
        "myfilterWord": "tmd"
      }
    }
  ]
}

OK，接下来，我就来操作一遍，你也不需要知道原理，原理得去看源码了，后面我们梳理源码的时候自然会知道。

一、使用idea搭建插件框架，代码编写

我们利用idea的插件能力来搭建框架，你按照我的操作来就行了。

创建一个项目

类型为maven的。

最后的效果如下：

然后点create创建就行了。
然后会创建出一个项目，我们需要修改包结构，改成我们自己的想要的，把他那些包都删了，只需要重新命名两个类即可，包结构如下：

然后我们需要实现一个插件类FilterIngestPlugin和一个逻辑处理类FilterWordProcessor。

package com.levi.plugin;

import java.util.HashMap;
import java.util.Map;

import com.levi.FilterWordProcessor;
import org.elasticsearch.ingest.Processor;
import org.elasticsearch.plugins.IngestPlugin;
import org.elasticsearch.plugins.Plugin;

/**
 * 插件类，继承Plugin，实现IngestPlugin，因为我们是做管道处理，所以要实现IngestPlugin
 * 这样的类才会被ES加载
 */
public class FilterIngestPlugin extends Plugin implements IngestPlugin {

    @Override
    public Map<String, Processor.Factory> getProcessors(Processor.Parameters parameters) {
        Map<String, Processor.Factory> processors = new HashMap<>();
        processors.put(FilterWordProcessor.TYPE, new FilterWordProcessor.Factory());
        return processors;
    }
}

package com.levi;

import java.util.Map;

import org.elasticsearch.ingest.AbstractProcessor;
import org.elasticsearch.ingest.ConfigurationUtils;
import org.elasticsearch.ingest.IngestDocument;
import org.elasticsearch.ingest.Processor;

public class FilterWordProcessor extends AbstractProcessor {

    // 我们的管道名称
    public static final String TYPE = "levi_filter_word";

    private String myfilterWord;

    private String myfield;

    public FilterWordProcessor(String tag, String description, String myfilterWord, String myfield) {
        super(tag, description);
        this.myfilterWord = myfilterWord;
        this.myfield = myfield;
    }

    @Override
    public IngestDocument execute(IngestDocument ingestDocument) throws Exception {
        IngestDocument document = ingestDocument;
        String value = document.getFieldValue(myfield, String.class);
        String clearedValue = value.replace(myfilterWord, "");
        document.setFieldValue(myfield, clearedValue);
        return document;
    }

    @Override
    public String getType() {
        return TYPE;
    }

    public static final class Factory implements Processor.Factory {

        @Override
        public Processor create(Map<String, Processor.Factory> processorFactories, String processorTag, String description, Map<String, Object> config) throws Exception {
            // 获取配置参数也就是你DSL里面的KEY值
            String field = ConfigurationUtils.readStringProperty(TYPE, processorTag, config, "myfield");
            String filterWord = ConfigurationUtils.readStringProperty(TYPE, processorTag, config, "myfilterWord");
            return new FilterWordProcessor(processorTag, description,filterWord, field);
        }
    }

}

此时我们需要去pom文件中，把加载的插件类改成我们自己的。
在这里插入图片描述
然后可以把plugin-descriptor.properties文件改为这样,写一些自己的东西。

description=levi processor
version=${project.version}
name=levi-replace-processsor
classname=${elasticsearch.plugin.classname}
elasticsearch.version=${elasticsearch.version}
java.version=${maven.compiler.target}

此时就完成了代码的开发，我们来用maven打包。
在这里插入图片描述
之后会在你的这个目录下生成一个zip包，这就是你的插件包，和Ik分词器是一样的一个东西。

此时我们就完成了插件制作。我把插件放在了D:\plugins下面。

二、插件安装

我们此时进入我们的ES的bin目录下，执行如下命令。

elasticsearch-plugin.bat install file:///D:\plugins\levi-replace-processsor-1.0.0-SNAPSHOT.zip

在这里插入图片描述
此时我们就安装成功了，安装成功之后要生效，必须重启ES。
重启的时候，我们看到日志，加载了我们自己的管道。

三、插件使用

1、创建索引

PUT my-index-01
{
  "settings": {
    "number_of_replicas": 0
  }, 
  "mappings": {
    "properties": {
      "name":{
        "type": "keyword"
      }
    }
  }
}

2、创建管道

PUT /_ingest/pipeline/my-filter_01
{
  "processors": [
    {
      "levi_filter_word": {
        "myfield": "name",
        "myfilterWord": "tmd"
      }
    }
  ]
}

注意我们的管道名称是levi_filter_word，这个是在源码中定义的。
在这里插入图片描述
而不是那个插件名称，这个别混淆。

3、使用管道写入数据

POST my-index-01/_doc?pipeline=my-filter_01
{
  "name":"nihao tmd"
}

查看数据发现符合预期，tmd被过滤了。
在这里插入图片描述
这就是ES管道插件的使用，至于其他的比如action filter annalizs，后面随着我们自定义程度的提高会逐步加上来。

四、参考链接

1、如何编写自己的插件
2、Writing Your Own Ingest Processor for Elasticsearch