【Elasticsearch】ignore_malformed

在Elasticsearch中，`ignore_malformed`是一个字段映射参数，用于控制在索引文档时，如果字段数据不符合其定义的数据类型，Elasticsearch 应该如何处理这种情况。具体来说，`ignore_malformed`参数决定了是否忽略格式错误的数据，而不是直接拒绝整个文档。

作用

当启用`ignore_malformed`参数时（设置为`true`），Elasticsearch 会尝试尽可能地处理字段数据，即使数据格式不符合预期。如果字段数据无法解析为定义的类型（例如，将字符串解析为数字类型），Elasticsearch 会忽略该字段的值，而不是抛出错误并拒绝整个文档。这在处理可能包含错误数据的字段时非常有用，尤其是在日志数据或用户输入数据的场景中。

使用场景

1. 处理日志数据：日志数据可能包含格式错误的字段，例如，某些日志记录可能缺少某些字段或字段格式不正确。启用`ignore_malformed`可以避免这些格式错误导致整个日志记录被丢弃。

2. 容错数据导入：在数据导入过程中，某些字段可能由于数据质量问题而不符合预期格式。启用`ignore_malformed`可以确保即使某些字段格式错误，其他字段仍然可以被正确索引。

3. 处理用户输入数据：用户输入的数据可能包含格式错误，例如，将日期字段输入为非日期格式的字符串。启用`ignore_malformed`可以避免这些错误导致整个文档无法索引。

配置示例

以下是一个配置`ignore_malformed`参数的示例，假设我们有一个字段`host.ip`，其类型为`ip`，并且我们希望在数据格式错误时忽略该字段：

更新索引模板

```json

PUT /_index_template/my-data-stream-template

{

  "index_patterns": ["my-data-stream*"],

  "data_stream": {},

  "priority": 500,

  "template": {

    "mappings": {

      "properties": {

        "host": {

          "properties": {

            "ip": {

              "type": "ip",

              "ignore_malformed": true

            }

          }

        }

      }

    }

  }

}

```

更新现有数据流的映射

```json

PUT /my-data-stream/_mapping

{

  "properties": {

    "host": {

      "properties": {

        "ip": {

          "type": "ip",

          "ignore_malformed": true

        }

      }

    }

  }

}

```

行为说明

• 启用`ignore_malformed`：如果字段数据格式错误，Elasticsearch 会忽略该字段的值，并记录一个警告。文档的其他字段仍然会被索引。

• 禁用`ignore_malformed`（默认行为）：如果字段数据格式错误，Elasticsearch 会拒绝整个文档，并抛出一个错误。

注意事项

1. 数据完整性：虽然`ignore_malformed`可以避免文档被拒绝，但它也会导致某些字段的数据丢失。因此，在启用该参数时，需要权衡数据完整性和容错性。

2. 日志记录：当启用`ignore_malformed`时，Elasticsearch 会在日志中记录格式错误的字段，以便后续排查问题。

3. 性能影响：启用`ignore_malformed`不会对性能产生显著影响，但它可能会掩盖数据质量问题。建议在生产环境中定期检查日志，以确保数据质量。

总结

`ignore_malformed`是一个非常有用的字段映射参数，用于处理可能包含格式错误的数据。它可以帮助避免因单个字段格式错误而导致整个文档被拒绝，从而提高数据处理的容错性。然而，在使用时需要谨慎，以确保不会因忽略错误数据而导致数据质量问题。