ChunJun项目ElasticSearch7数据源插件使用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00337/article/details/148549612

ChunJun项目ElasticSearch7数据源插件使用指南

chunjun ChunJun（唤醒）是一个基于 Flink 的实时数据同步工具。 - 提供实时数据同步、数据迁移和数据集成功能，支持多种数据源和数据目的。 - 特点：支持多种数据源和数据目的、高性能、可扩展、易于使用。项目地址: https://gitcode.com/gh_mirrors/ch/chunjun

一、插件概述

ElasticSearch作为一款流行的分布式搜索和分析引擎，在企业数据应用中扮演着重要角色。ChunJun项目提供的ElasticSearch7 Source插件能够高效地从ElasticSearch 7.x集群中读取指定索引(index)的数据，支持多种认证方式和SSL安全连接，是构建数据集成管道的重要组件。

二、核心特性

版本兼容性：专为ElasticSearch 7.x版本设计
多种认证支持：基础认证(Basic Auth)和SSL证书认证
高性能读取：支持批量数据获取和连接池优化
数据类型丰富：支持包括TEXT、DATE、NESTED等在内的多种ElasticSearch数据类型

三、参数详解

基础连接配置

hosts
Elasticsearch集群节点地址列表，多个地址用分号分隔，例如："node1:9200;node2:9200"。这是必填参数，确保至少提供一个可用的节点地址。

index
指定要读取数据的索引名称，支持通配符模式匹配多个索引。

安全认证配置

基础认证
当ElasticSearch集群启用基础认证时，需配置username和password参数。建议在生产环境始终启用认证。

SSL认证
对于更高安全要求的场景，可通过sslConfig配置SSL证书连接：

支持CA证书(ca.crt)和PKCS12证书(.p12)两种类型
证书可从本地文件系统或SFTP服务器获取
需要指定keyStorePass密码(如果证书有密码保护)

性能调优参数

batchSize
控制每次从ElasticSearch获取的文档数量，适当增大此值可提高吞吐量，但会消耗更多内存。

超时控制

connectTimeout：建立连接的超时时间(毫秒)
socketTimeout：socket读写超时时间
requestTimeout：完整请求超时时间

连接池配置

maxConnPerRoute：每个路由的最大连接数
keepAliveTime：连接保持时间

四、数据类型映射

ChunJun插件支持ElasticSearch中大多数常用数据类型：

| 支持类型 | 说明 | |---------|------| | INTEGER | 整型 | | FLOAT | 单精度浮点 | | DOUBLE | 双精度浮点 | | LONG | 长整型 | | DATE | 日期时间 | | TEXT | 文本 | | BINARY | 二进制 | | OBJECT | JSON对象 | | NESTED | 嵌套文档 |

注意：GEO_POINT等地理空间类型目前不支持。

五、最佳实践

批量大小设置：根据文档大小和网络状况，batchSize建议设置在100-1000之间
连接管理：在频繁访问场景下，适当增大maxConnPerRoute和keepAliveTime
字段选择：明确指定column列表而非使用通配符，可显著提高性能
SSL配置：生产环境建议使用PKCS12证书，并定期轮换

六、配置示例

{
  "job": {
    "content": [{
      "reader": {
        "name": "elasticsearch7reader",
        "parameter": {
          "hosts": "es-node1:9200;es-node2:9200",
          "index": "user_activity",
          "username": "admin",
          "password": "securepassword",
          "batchSize": 500,
          "column": [
            {"name": "user_id", "type": "keyword"},
            {"name": "action_time", "type": "date"},
            {"name": "device_type", "type": "text"}
          ],
          "sslConfig": {
            "useLocalFile": true,
            "fileName": "es-cert.p12",
            "filePath": "/etc/ssl/certs",
            "keyStorePass": "certpassword",
            "type": "pkcs12"
          }
        }
      },
      "writer": {
        // 写入配置
      }
    }]
  }
}