EDB EPAS 通过 PostgreSQL 连接器同步数据到 Elasticsearch

原创 已于 2025-12-04 18:38:27 修改 · 584 阅读 · 9 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#postgresql #elasticsearch #数据库 #大数据 #搜索引擎 #人工智能 #全文检索

于 2025-12-04 18:20:41 首次发布

作者：来自 新智锦绣 靳海峰

PostgreSQL 通过 Connector 连接 Elasticsearch 的主要作用是实现关系型数据库与搜索引擎之间的数据同步，将 PostgreSQL中的数据实时或准实时地复制到 ES 中，以利用 ES 强大的全文检索和分析能力。EDB EPAS 除了其高级功能外，原生完全兼容 postgresql。所以通过 Elastic Integrations 中的 PostgreSQL Connector 是可以实现 EDB 与 ES 的数据连接与同步的。

PostgreSQL 到 ES 的连接器核心价值在于打破数据孤岛，在保留 PG 事务能力的同时，充分发挥ES的检索与分析优势，且集成连接器支持低代码、近实时和高可靠性，是企业构建搜索中台和实时数据平台的重要组件。

一、PG 与 ES 数据同步优势

  • 提升搜索性能：PostgreSQL 虽然支持全文搜索，但在处理复杂搜索、模糊匹配和高并发查询时，Elasticsearch 表现更加出色。
  • 实现数据分析与搜索分离：将搜索压力从业务数据库中分离出来，保证 OLTP 业务的稳定性。
  • 充分利用 Elasticsearch生态：通过 ES 强大的聚合分析、可视化功能，为数据挖掘和业务监控提供支持。

二、常见的数据同步方案

目前主流的数据同步方法主要有以下几种：

  1. 应用层双写 - 在业务代码中同时写入 PG 和 ES
  2. 日志解析 - 通过解析 PG 的 WAL 日志实现数据同步
  3. 定时任务 - 通过定时扫描数据库来同步数据
  4. 使用 CDC 工具 - 如 Debezium 等变更数据捕获工具
  5. 原生 Connector - 使用 Elasticsearch 官方提供的集成方案

今天我们将重点介绍最后一种方案 —— 使用 Elastic Integrations 的 PostgreSQL Connector。

三、Elastic 原生 PG Connector 配置指南

环境准备

在开始之前，请确保您已准备好：

  • Elasticsearch 集群（本例 8.17.2）
  • PostgreSQL 数据库（本例 Enterprisedb EPAS 17）

配置 PostgreSQL 连接器

在 Kibana 界面中操作：

1）进入 管理 → 集成

2）搜索 PostgreSQL

这里有两个 postgresql 集成选项，一个主要是 postgresql 的日志及审计集成，另一个是数据内容同步，这里我们选择第二个。

3）点击 PostgreSQL 进入添加界面，新建 enterprisedb 连接器名称

4）选择部署方式 - docker 方式

5）自动生成为 docker 运行连接器生成索引及密钥，后续在 config.yml 配置中做相应调整。并提示 docker 运行命令，等待连接器接入。

Docker（podman）环境下连接器的安装和启动配置

1）选择任意一台安装好 docker 运行环境的机器，按上面提示进行连接器配置。

我们以已经配好的一个连接器为参考来进行配置（主要是 api_key 等的差别）

[nuser@epas-1 elastic-connectors]$ mkdir -p "$HOME/elastic-connectors"
[nuser@epas-1 elastic-connectors]$ cd $HOME/elastic-connectors
[nuser@epas-1 elastic-connectors]$ touch config.yml
[nuser@epas-1 elastic-connectors]$ mkdir certs
[nuser@epas-1 elastic-connectors]$ sudo cp /etc/elasticsearch/certs/http_ca.crt ./certs/ca.crt
[nuser@epas-1 elastic-connectors]$ chmod 644 $HOME/elastic-connectors/certs/ca.crt

添加相应配置内容到 config.yml，从 Elastic 8.0 版本开始，安全功能（包括 TLS）是自动配置并默认开启的，所以我们要添加 tls 安全认证证书。可以从 elasticsearch cluster 的配置目录下拷贝 http_ca.crt 证书到当前目录下。并添加 ssl 字段内容。


[nuser@epas-1 elastic-connectors]$ cat config.yml 

connectors:
-
  connector_id: "K8Fcv5oBs306iAMqUdoW"
  service_type: "postgresql"
  api_key: "TE1GY3Y1b0JzMzA2aUFNcVV0b3U6TTZ6Z1hvOGlTS2FYSmlScUIybC1YUQ=="
elasticsearch:
  host: "https://192.168.31.11:9200"
  api_key: "TE1GY3Y1b0JzMzA2aUFNcVV0b3U6TTZ6Z1hvOGlTS2FYSmlScUIybC1YUQ=="
  ssl:
    certificate_authorities: ["/config/certs/ca.crt"]

2）运行并启动 docker 连接器

  • 运行 docker 的环境是 Oracle Linux Server release 8.5，默认系统已用 podman 替代 docker engine，所以环境需要做一些配置。当前网络环境是192.168.31.0/255

    • Podman 默认的 “podman” 网络（CNI bridge）不会自动路由到主机所在 LAN，所以容器无法访问 192.168.31.x。所以在容器启动时，最好通过–  network=host 使容器直接用主机网络。

  • 镜像里 elastic-ingest 使用 Python venv，内部 SSL 初始化逻辑硬编码了 CA 加载方式，所以即使正确指定了证书位置，启动后还是会报 “Cannot connect to host 192.168.31.11:9200 ssl:True [SSLCertVerificationError: (1, ’[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006)’)]”这样的错误，所以需要重构一个 update 证书的 image

在 elastic-connectors 目录下，创建 Dockerfile 文件，以便重新 build 新的 image

[nuser@epas-1 elastic-connectors]$ cat Dockerfile 
FROM docker.elastic.co/integrations/elastic-connectors:8.17.2

# 拷贝 CA
COPY certs/ca.crt /usr/local/share/ca-certificates/ca.crt
COPY certs/ca.crt /etc/ssl/certs/ca.crt
RUN apk add --no-cache ca-certificates \
    && update-ca-certificates
[nuser@epas-1 elastic-connectors]$ sudo podman build -t elastic-connectors-ssl

  • 启动 docker

[nuser@epas-1 elastic-connectors]$ sudo podman run --network host -v "$HOME/elastic-connectors:/config" elastic-connectors-ssl /app/bin/elastic-ingest -c /config/config.yml
[FMWK][10:16:05][INFO] Running connector service version 8.17.2
[FMWK][10:16:05][INFO] Loading config from /config/config.yml
[FMWK][10:16:05][INFO] Running preflight checks
[FMWK][10:16:05][INFO] Waiting for Elasticsearch at https://192.168.31.11:9200 (so far: 0 secs)
[FMWK][10:16:05][INFO] Elasticsearch 8.17.2and Connectors 8.17.2 are compatible
[FMWK][10:16:05][INFO] Extraction service is not configured, skipping its preflight check.
[FMWK][10:16:05][INFO] [job_scheduling_service] Job Scheduling Service started, listening to events from https://192.168.31.11:9200
[FMWK][10:16:05][INFO] [content_sync_job_execution_service] Content sync job execution service started, listening to events from https://192.168.31.11:9200
[FMWK][10:16:05][INFO] [access_control_sync_job_execution_service] Access control sync job execution service started, listening to events from https://192.168.31.11:9200
[FMWK][10:16:06][INFO] [Connector id: K8Fcv5oBs306iAMqUdoW, index name: connector-postgresql-fce3] Connector is not configured yet. Finish connector configuration in Kibana to make it possible to run a sync.
[FMWK][10:16:36][INFO] [Connector id: K8Fcv5oBs306iAMqUdoW, index name: connector-postgresql-fce3] Connector is not configured yet. Finish connector configuration in Kibana to make it possible to run a sync.
[FMWK][10:17:06][INFO] [Connector id: K8Fcv5oBs306iAMqUdoW, index name: connector-postgresql-fce3] Connector is not configured yet. Finish connector configuration in Kibana to make it possible to run a sync.
[FMWK][10:17:36][INFO] [job_scheduling_service] Connector is configured correctly and can reach the data source
[FMWK][10:18:06][INFO] [Connector id: K8Fcv5oBs306iAMqUdoW, index name: connector-postgresql-fce3, Sync job id: A9Crv5oBs306iAMqUws7] Executing full sync
[FMWK][10:18:06][INFO] [Connector id: K8Fcv5oBs306iAMqUdoW, index name: connector-postgresql-fce3, Sync job id: A9Crv5oBs306iAMqUws7] Filtering validation starte

成功启动并连接到 ES。

3）在连接成功的 connector 下，配置 edb epas 连接信息

Kibana下进行同步或设置同步计划

至此，通过 postgresql 连接器连接 enterprisedb 到 ES 的数据同步就成功了。接下来就可以在 ES 下进行数据分析和可视化操作了。

三、在 ES 下测试导入的数据及可视化操作

在 EPAS 下的显示：

edb=# select version();
                                                                    version                                                                    
-----------------------------------------------------------------------------------------------------------------------------------------------
 PostgreSQL 17.6 (EnterpriseDB Advanced Server 17.6.0) on x86_64-pc-linux-gnu, compiled by gcc (GCC) 8.5.020210514 (Red Hat 8.5.0-26), 64-bit
(1 行记录)

edb=# \dt
                                 关联列表
 架构模式 |                 名称                  |  类型  |    拥有者    
----------+---------------------------------------+--------+--------------
public   | credit_card_transactions              | 分区表 | enterprisedb
public   | credit_card_transactions_2025_09      | 数据表 | enterprisedb
public   | credit_card_transactions_heap_2025_09 | 数据表 | enterprisedb
public   | dept                                  | 数据表 | enterprisedb
public   | emp                                   | 数据表 | enterprisedb
public   | items                                 | 数据表 | enterprisedb
public   | jobhist                               | 数据表 | enterprisedb
public   | maps                                  | 数据表 | enterprisedb
public   | reservation_slots                     | 数据表 | enterprisedb
public   | reservations                          | 数据表 | enterprisedb
public   | restaurant_tables                     | 数据表 | enterprisedb
public   | t1                                    | 数据表 | enterprisedb
public   | test                                  | 数据表 | enterprisedb
(13 行记录)

edb=# select sum(sal) from emp;
   sum    
----------
30025.00
(1 行记录)

在连接器的下的文档页可以看到同步的内容：

为了方便在 discover 下观测和分析，可以把该索引创建 datastream。我们创建了enterprisedb的datastream。

在 Discover下查看索引文档信息：

还可以基于数据进行可视化编排和处理：

在开发控制台下进行 DSL/SQL 查询：

四、总结

通过 Elastic Integrations 的 PostgreSQL Connector，我们可以实现从 Enterprise EPAS 到 Elasticsearch 的数据同步，既保留了 PostgreSQL 在事务处理上的优势，又充分发挥了 Elasticsearch 在搜索和分析方面的强大能力。

这种方案特别适合需要实时搜索、复杂分析和数据可视化的场景，为业务提供更加完善的数据支持。

感谢您关注新智锦绣科技（北京）有限公司！作为 Elastic 的 Elite 合作伙伴及 EnterpriseDB 在国内的唯一代理和服务合作伙伴，我们始终致力于技术创新和优质服务，帮助企业客户实现数据平台的高效构建与智能化管理。无论您是关注 Elastic 生态系统，还是需要 EnterpriseDB 的支持，我们都将为您提供专业的技术支持和量身定制的解决方案。

博客
Elastic 线下 Meetup 将于 2026 年 1 月 10 号下午在北京举行
11-24 1910
2026年ElasticMeetup北京站将于1月10日在腾讯北京总部举办。活动邀请Elastic、腾讯及新智锦绣专家分享前沿技术，包括Elasticsearch向量搜索与AI应用、MCP超级大脑在智能运维中的实践、腾讯云ES的AI能力建设，以及搜索范式从排序到过滤的转变等主题。现场提供茶歇交流机会，并有抽奖环节。报名需实名登记，成功报名后需联系工作人员获取访客码。活动详情及报名链接：https://elastic.huodongxing.com/event/5835577361800
博客
Elastic 线下 Meetup 将于 2025 年 12 月 6 号下午在西安举行
10-20 2673
2025年ElasticMeetup成都站将于12月6日在西安阿里巴巴C1栋举办，聚焦AI搜索技术前沿。活动邀请Elastic社区布道师刘晓国、言古科技王传健、阿里云张粲宇等专家，分享向量搜索、多模态知识库构建、AI搜索趋势等议题。包含主题演讲、茶歇交流及抽奖环节，需提前报名并实名入场。报名链接：https://8181722436173.huodongxing.com/event/8831089715600。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
用变量控件提升 Kibana 仪表板的互动性
12-05 644
Kibana 8.18+版本引入了变量控件功能，为用户提供更灵活的仪表板交互体验。这些控件可直接嵌入ES|QL查询中，允许对单个可视化进行筛选、调整时间间隔或更改分组字段，而不会影响其他面板。用户可以通过查询编辑器快速创建控件，支持多值选择、函数切换等操作。该功能不仅适用于仪表板，也能在Discover中使用。变量控件采用服务器端验证确保安全性，未来还将增加更多功能如链式操作、新控件类型等。这一增强功能显著提升了数据分析和监控效率。
博客
Elastic Streams 介绍 - 9.2
12-04 436
摘要：Streams通过AI技术简化日志管理流程，实现日志的智能解析、自动分区、事件监测、保留策略和质量控制。它允许将所有日志发送至单一入口点，由系统自动完成结构化处理、分类存储和异常检测，显著降低运维复杂度。该方案帮助团队快速将原始日志转化为可操作洞察，提升故障排查效率，确保数据可靠性，同时优化存储成本。Streams使日志管理从被动记录转变为主动监控工具，为SRE和DevOps团队提供端到端的智能化日志处理解决方案。
博客
Elasticsearch 中的文档级基于属性的访问控制 - ABAC
12-04 822
本文介绍了如何在Elasticsearch中实现基于属性的访问控制(ABAC)。通过利用Lucene7.1的CoveringQuery特性和Elasticsearch6.1的terms_set查询，结合X-Pack安全功能中的模板化角色查询机制，可以构建比传统基于角色访问控制(RBAC)更灵活的ABAC方案。文章详细演示了如何使用terms_set查询实现"列表AND"逻辑，并通过用户元数据注入属性值来限制文档访问。最后展示了一个包含安全级别、项目列表和认证日期检查的综合ABAC示例，说
博客
Elasticsearch 中使用 NVIDIA cuVS 实现最高快 12 倍的向量索引速度：GPU 加速第 2 章
12-04 788
Elasticsearch通过与NVIDIA合作集成GPU加速技术，显著提升了向量索引性能。新推出的Elasticsearch-GPU插件利用NVIDIA cuVS库实现高效向量搜索，在测试中展现出12倍的索引吞吐量提升和7倍的合并加速，同时降低CPU使用率。该技术计划在2026年初发布的Elasticsearch 9.3中作为技术预览版推出，为大规模向量工作负载提供更强大的处理能力。
博客
Elastic 与 Accenture 在 GenAI 数据准备方面的合作
12-03 571
Elastic与埃森哲合作推出面向生成式AI的数据准备引擎解决方案，旨在解决企业采用AI时面临的数据分散、缺乏上下文等挑战。该方案整合Elasticsearch的搜索能力、埃森哲的70多个预建连接器及AWS云服务，提供自动化数据集成、安全合规管理、语义搜索等功能，帮助构建统一的AI就绪知识库。通过AWS Marketplace快速部署，该方案支持医疗、金融等多行业实现从AI实验到生产落地的转型，加速生成式AI的商业价值实现。
博客
ES|QL 在 9.2：智能查找连接和时间序列支持
12-03 613
Elasticsearch 9.2对ES|QL查询语言进行了三项重要更新：1）增强LOOKUP JOIN功能，支持多字段连接和复杂表达式；2）新增TS命令用于时间序列分析；3）推出INLINESTATS命令保留原始数据同时进行聚合。这些改进显著提升了数据分析的灵活性、性能和易用性。此外，Kibana Discover新增了直观的lookup索引管理界面，并支持多种新函数。底层优化使查询效率大幅提升，部分场景性能可提高1000倍。
博客
Elasticsearch：专用向量数据库很快就会被遗忘，事实上它从未流行过
12-03 1279
摘要：随着深度学习和大模型的兴起，向量搜索技术从学术研究走向工业应用，但专用向量数据库的独立赛道正面临崩塌。各大传统数据库和云服务商纷纷集成向量搜索功能，技术同质化严重且缺乏壁垒。实际应用中，单纯的向量搜索难以满足需求，"混合搜索"（结合结构化、非结构化和向量数据）成为共识。专用向量数据库因技术局限和生态惯性难以突围，未来或将作为补充能力融入现有数据平台，而非独立存在。向量搜索终将成为数据库的标配功能，而非独立品类。
博客
Elasticsearch：在隔离环境中安装 ELSER 模型
12-02 747
​在我之前的文章 “Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR”，我描述了如何安装 ELSER 模型。在今天的文章中，我来讲讲如何在隔离的环境中安装 ELSER 模型。如果你在有网路的情况下，最容易安装 ELSER 的方法是是使用 inference API。我们可以通过如下的方式来进行。为了测试的方便，我们可以使用如下的方法来删除已经安装好的 ELSER 模型：​
博客
Elastic 在首批获得 AWS Agentic AI 专项认证的合作伙伴中处于领先地位
12-02 1138
Elastic获得AWSAgenticAI专项认证，成为首批获此认证的ISV之一。该认证认可Elastic在开发先进agentic解决方案方面的能力，帮助客户提升业务效率和生产力。Elastic的创新平台通过上下文工程为AI代理提供可靠记忆和精准数据检索，解决大语言模型在跨会话记忆方面的局限。其AgentBuilder工具简化了构建具备上下文感知能力AI助手的过程，支持多模型提供商和定制化开发。这一认证验证了Elastic在生产就绪agenticAI解决方案方面的实力，现已在AWS Marketplace提
博客
用 Elasticsearch 构建一个 ChatGPT connector 来查询 GitHub issues
12-02 1037
本文介绍如何构建自定义ChatGPT连接器，通过部署使用混合搜索查询GitHub issues的Elasticsearch MCP服务器。文章详细说明了实现OpenAI要求的search和fetch工具的方法，包括使用ELSER语义搜索和BM25文本匹配的混合搜索技术。作者演示了在Google Colab上部署服务器并通过ngrok公开URL的步骤，使ChatGPT能连接内部数据源。最终实现了用自然语言查询GitHub issues和PRs的功能，展示了如何将ChatGPT与企业内部数据无缝集成。
博客
使用 LangChain 和 Elasticsearch 开发一个 agentic RAG 助手
11-29 962
​这篇博客深入探讨了 agentic RAG 工作流，解释了它们的关键特性和常见设计模式。它进一步展示了如何通过一个使用 Elasticsearch 作为向量存储、使用 LangChain 构建 agentic RAG 框架的实践示例来实现这些工作流。最后，文章简要讨论了设计和实现此类架构的最佳实践和相关挑战。你可以通过这个 Jupyter notebook 跟着一起创建一个简单的 agentic RAG 管道。
博客
混合搜索无需头疼：使用 retrievers 简化混合搜索
11-28 968
本文介绍了Elasticsearch中混合搜索的新特性——多字段查询格式，它简化了词法和语义搜索的整合过程。传统混合搜索需要深入了解索引结构和复杂的查询配置，而新的linear和RRF检索器通过自动分组查询字段、归一化分数范围，使混合搜索更易实现。文章详细展示了如何通过简洁的多字段查询语法替代冗长的传统查询，支持字段加权、通配符匹配和默认字段查询等功能。这些改进使开发者无需深入了解索引细节即可构建高效的混合搜索方案，适用于Elasticsearch 8.19+、9.1+和Serverless版本。
博客
Elastic Observability 的 AIOps：现代 AIOps 与 Log Intelligence
11-27 1015
摘要：Elastic最新发布的Observability 9.2（Streams）通过AI驱动的日志智能技术革新AIOps实践。Streams工具集提供自动日志分类、多维异常检测和增强根因分析能力，能快速处理PB级日志数据，将非结构化日志转化为可执行洞察。该方案特别适用于云原生环境，通过将日志与指标、追踪数据关联，显著提升故障诊断效率。研究表明，使用Streams后，原本需要数小时的手动日志分析可缩短至几分钟完成，使团队能更专注于业务创新而非故障排查。（149字）
博客
使用 Elastic Agent Builder 和 GPT-OSS 构建一个用于 HR 的 AI agent
11-27 1646
本文介绍了如何使用Elastic Agent Builder和GPT-OSS构建一个本地化HR AI助手。通过LM Studio运行GPT-OSS模型，并结合Elastic Cloud部署，可以创建一个能够回答员工数据查询的AI代理，同时确保数据不离开本地环境。文章详细说明了五个实施步骤：配置LM Studio、部署本地Elastic、创建OpenAI连接器、上传员工数据以及构建测试AI代理。该方案提供了数据隐私保障，支持自然语言查询，并展示了如何利用20B参数的GPT-OSS模型实现语义搜索功能，为HR数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值