Elastic 中国社区官方博客

摘要：本文介绍了Logstash中Ruby filter插件的使用方法，用于实现高级数据转换。Ruby filter允许在Logstash管道中执行自定义Ruby代码，适用于标准过滤器无法处理的复杂场景，如深度嵌套数据处理、高级字符串处理和复杂业务逻辑实现。文章通过基础示例展示了内联Ruby代码和外部脚本的使用方法，并通过高级示例演示了如何操作嵌套数据结构、拆分事件、执行外部命令解析输出以及使用Ruby内置库。Ruby filter为Logstash管道提供了强大的扩展能力，能够满足各种复杂数据处理需求。

当你想要升级一个 Elasticsearch 集群时，有时候创建一个新的独立集群并将数据从旧集群迁移到新集群会更容易一些。这让用户能够在不冒任何停机或数据丢失风险的情况下，在新集群上使用所有应用程序测试其所有数据和配置。这种方法的缺点是需要一些硬件的重复配置，并且在尝试平稳地传输和同步所有数据时可能会带来困难。如果你需要将应用程序从一个数据中心迁移到另一个数据中心，也可能需要执行类似的操作。

​通过使用集成过滤插件，将数据处理操作从你的 Elastic 部署卸载到 Logstash。Logstash 的 Elastic 集成过滤插件允许你在 Logstash 内执行摄取管道来处理来自 Elastic 集成的数据，然后再将数据转发到 Elastic。

Logstash 是一个强大的工具，可以从各种来源提取、转换和传送数据。对 Logstash 的可见性对于优化性能和解决与数据提取相关的问题至关重要。我们极大地改进了 Logstash 集成，以便一目了然地显示你的 Logstash 节点和管道的状态。该集成现在由 Elastic Agent 提供支持，它查询 Logstash 监控 API 以获取填充托管仪表板的数据。本博客将指导你了解集成提供的可视化功能、如何配置和安装它们以及提供数据的底层 API。

Logstash 是一种广泛使用的 Elastic Stack 工具，用于实时处理大量日志数据。它充当高效的数据管道，将来自各种来源的信息集成到单一结构化流中。其主要功能是可靠地执行数据提取、转换和加载。Logstash 具有多种优势，尤其是其在支持多种类型的输入、过滤器和输出方面的多功能性，可与各种来源和目的地集成。它实时处理数据，捕获和转换信息。它与 Elastic Stack（尤其是 Elasticsearch 和 Kibana）的原生集成有助于数据分析和可视化。

Elastic Agent 是一款功能强大且用途广泛的工具，可用于从各种数据源（包括自定义用户应用程序）收集日志和指标。现在，Elastic Agent 提供了无与伦比的灵活性，可以将数据准确地传递到需要的地方，从而通过单个代理实现安全性和可观察性用例。本博客介绍了最新版本的 Elastic Agent 中提供的功能以及如何定制它们以适合你的特定用例。

我们提供各种采集架构，以满足各种用例和网络配置的需求。要将数据采集到 Elasticsearch，请使用最符合你的需求和用例的选项。对于许多用户和用例来说，最简单的方法是使用 Elastic Agent 采集数据并将其发送到 Elasticsearch。Elastic Agent 和适用于许多流行的平台和服务，是一个不错的起点。：你可以在自己的硬件上托管 Elasticsearch，也可以将数据发送到 Elastic Cloud 上的 Elasticsearch。

了解在 Elasticsearch 中为你的搜索用例提取数据的所有不同方式。对于搜索用例，高效采集和处理来自各种来源的数据的能力至关重要。无论你处理的是 SQL 数据库、CRM 还是任何自定义数据源，选择正确的数据采集工具都会对你的 Elasticsearch 体验产生重大影响。在本博客中，我们将探索 Elastic Stack 的三种搜索数据采集工具：Logstash、客户端 API 以及我们的 Elastic Native Connectors + Elastic Connector Framewo

我们在之前的文章中已经了解了如何丰富和。但如果我们可以从边缘做到这一点呢？这将减少 Elasticsearch 要做的工作。让我们看看如何从具有代理处理器的 Elastic 代理中执行此操作。Elastic Agent 处理器是轻量级处理组件，可用于解析、过滤、转换和丰富源数据。这正是我们想要做的，但 Elastic Agent 处理器的限制之一是它无法使用或其他自定义数据源的数据来丰富事件。这意味着我们需要在这里保持非常静态。我们需要提前知道我们想要用什么来丰富我们的数据。

我们在中看到，我们可以使用摄取管道中的在 Elasticsearch® 中进行数据丰富。但有时，你需要执行更复杂的任务，或者你的数据源不是 Elasticsearch，而是另一个源。或者，你可能希望存储在 Elasticsearch 和第三方系统中，在这种情况下，将管道的执行转移到 Logstash® 很有意义。

要将数据从 Elastic Agent 安全地发送到 Logstash，你需要配置传输层安全性 (TLS)。 使用 TLS 可确保你的 Elastic Agent 将加密数据发送到受信任的 Logstash 服务器，并且你的 Logstash 服务器从受信任的 Elastic Agent 客户端接收数据。

在为 Elasticsearch 采集数据时，我们经常使用到 Filebeat 及 Logstash。在我们之前的很多教程中，我们通常不为 Filebeat 和 Logstash 之前的通信做安全配置。如何为 Filebeat 及 Logstash 直接建立安全的链接？这个在很多的情况下是非常有用的。在我之前的文章 “”，我有涉及到这个问题。最主要的是，它是针对 Elastic Stack 8.x 而设计的。在今天的文章中，我将针对最普通的情况来进行展示。

在深入研究防止这些重复项进入你的日志平台的各种方法之前，我们需要了解什么是重复项。在我之前担任软件工程师时，我负责开发和维护庞大的微服务生态系统。有些人考虑过重试逻辑，在一段时间后，将正常关闭服务并触发适当的警报。然而，并非所有服务都是为了妥善处理这些情况而构建的。服务配置错误也会导致事件重复。无意中将生产日志级别从 WARN 更改为 TRACE 可能会导致日志记录平台必须处理更严重的事件量。Elasticsearch 会自动为摄取的每个文档生成唯一 ID，除非文档在摄取时包含 _id 字段。

Logstash 是一款基于插件的数据收集和处理引擎。Logstash 配有大量的插件，以便人们能够轻松进行配置以在多种不同的架构中收集、处理并转发数据。处理过程可分为一个或多个管道。在每个管道中，会有一个或多个输入插件接收或收集数据，然后这些数据会加入内部队列。默认情况下，这些数据很少并且会存储于内存中，但是为了提高可靠性和弹性，也可进行配置以扩大规模并长期存储在磁盘上。处理线程会以小批量的形式从队列中读取数据，并通过任何配置的过滤插件按顺序进行处理。

为了利用 Elasticsearch® 提供的强大搜索功能，许多企业在 Elasticsearch 中保留可搜索数据的副本。Elasticsearch 是一种经过验证的技术，适用于传统文本搜索以及用于语义搜索用例的向量搜索。Elasticsearch Relevance EngineTM (ESRE) 使你能够在专有数据上添加语义搜索，这些数据可以与生成式 AI 技术集成以构建现代搜索体验。

在生产环境中，不使用 Apache Kafka 等流平台进行数据迁移并不是一个好的做法。在这篇文章中，我们将详细探讨 Apache Kafka 和 Logstash 的关系。但首先让我们简单了解一下 Apache Kafka 的含义。Apache Kafka 是分布式流平台，擅长实时数据集成和消息传递。Kafka 架构不复杂且直接。生产者将给定主题的数据发送到 Kafka Broker；Kafka 集群包含一个或多个 broker，用于存储从生产者接收到的消息，订阅 Kafka 主题的消费者将接收数据。

在我们创建 Elasticsearch 进行开发时，最简单的办法就是在本地使用 docker-compose 来一键部署一个 Elasticsearch 集群。有时，特别是在准备测试环境时，开发人员希望从一开始就创建包含一些测试数据的数据库容器。然而在这种情况下，我只想 Logstash 导入我的测试数据，然后停止释放资源。现在只需 docker-compose up -d ，大约 2 分钟后，Elasticsearch 就会启动并创建索引，其中包含一些文档。在今天的文章中，我们通过另外一种方法来实现。

你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................

通过上面的两篇文章的介绍，我们应该充分掌握了如何使用 enrich processor 来丰富数据了。特别是在上面的第二篇文章中，我们需要使用手动来一个一个地通过 Kibana 的界面来写入数据。我们感觉还是比较麻烦。如果我们能够实现自动化来完成整个的操作，那将是非常好的。在今天的文章中，我们将结合 enrich processor 和 Logstash 来实现数据的丰富自动化。我们可以利用 Linux 所提供的脚本来完成数据摄入的自动化。

通常，很多关系数据项目都使用 MySQL。它对于标准的 CRUD 操作是有益的，但有时我们需要做额外的过程。当我们搜索某些内容时，我们会消耗资源或合并多个表。有时，即使不是，可能仍然需要复杂的 SQL 查询。也许这不是正确的方法，但这是我们改变技术堆栈的不同方法。对于这个堆栈，我们首先描述 Logstash。更多阅读：“” 中的 “” 章节。

在我之前的文章 “Observability：如何把 Elastic Agent 采集的数据输入到 Logstash 并最终写入到 Elasticsearch”，我详细介绍了如何使用 Elastic Agents 采集数据并把数据通过 Logstash 发送至 Elasticsearch。细心的开发者可能注意到从 Elastic Agents 到 Logstash 直接的链接它不是加密的。这个在实际的使用中可能会有安全的隐患。那么我们该如何配置这个链接之间的安全呢？

在今天的文章中，我们来详述如下使用 Elastic Agents 在独立（standalone）模式下来采集数据并把数据最终通过 Logstash 来写入到 Elasticsearch 中去。在今天的练习中，我将使用如下的架构来搭建我的测试环境：我在 macOS 下安装 Elasticsearch 及 Kibana，在 Ubuntu OS 下安装 Apache, Elastic Agent 及 Logstash。

通过遵循 Elasticsearch 中数据摄取的这些最佳实践，你可以确保高效可靠的数据摄取过程。正确准备和构建数据、利用具有最佳批量大小的批量摄取、启用压缩、利用 Logstash 进行数据转换以及监控摄取性能是实现稳健且可扩展的 Elasticsearch 部署的关键步骤。

我们将探讨使用 3 种不同的架构发送应用的日子到 Elasticsearch。应用程序 -> Filebeat -> Logstash -> Elasticsearch应用程序 -> Filebeat -> Elasticsearch应用程序 (Java) + Logstash-logback-encoder -> Logstash -> Elasticsearch虽然可能还有其他发送日志的方法，但根据我的经验，将这些方法结合起来可以满足任何业务需求。

Elastic 2023年首场 Meetup 将于5月27日在北京举办，本次活动由 Elastic 和 新智锦绣 联合主办，届时将有行业专家及知名企业分享他们在Elasticsearch 应用中的经验与观点，带来最前沿的技术分享与思想碰撞。我们诚邀广大技术爱好者及开发者参加，共同探讨数据应用和大数据时代的挑战。

在我之前的许多文章中，我已经详细地描述了如何配置如下的管道：在实际的使用中，Elastic Stack 中的各个组件极有可能不在同样的一个机器上。我们该如何保证数据在传输过程中的安全呢？我们需要确保在上图所示的每一个连接都是安全的。在今天的教程中，我将详述如何在考虑安全的情况下设置 Filebeat、Logstash、Elasticsearch 和 Kibana。我将在 Ubuntu OS 22.04 上安装最新的 Elastic Stack 8.7.0。

有时，我们无法控制数据本身，我们需要管理数据的结构，甚至需要在摄取数据时处理字段名称。但有趣的是，我对摄取管道尝试了很多不同的方法，但我找不到解决方案。如你所见，错误与我们上面得到的错误相同。但是，这并不意味着你不能在文档中的任何地方使用这些字段名称。例如，你想使用 Logstash 移动该数据。因此，当你尝试使用 Logstash 摄取它时，你将收到以下错误。Elasticsearch 有一些保留的字段名称，你不能在文档中使用这些名称。究其原因，在上面的 _id 它不是在 root node 下的字段。

我们大多数人已经熟悉 Elastic 产品。在此博客中，我们将逐步介绍配置 Logstash 以使用多个管道摄取和处理数据的步骤。Logstash 是一种开源数据处理管道，可让你摄取、转换和输出数据。它是从各种来源收集和处理大量数据的强大工具，可用于管理和分析日志、指标和其他类型的数据。更多关于 Logstash 的介绍，请阅读我之前的文章 “关于 Logstash 如何处理多个 inputs，请阅读之前的文章 “

Elastic Stack 用于大量用例，从操作日志和指标分析到企业和应用程序搜索。 确保你的数据可扩展、持久且安全地传输到 Elasticsearch 非常重要，尤其是对于任务关键型环境。本文档的目的是强调 Logstash 最常见的架构模式以及如何随着部署的增长而有效扩展。 重点将围绕操作日志、指标和安全分析用例，因为它们往往需要更大规模的部署。 此处提供的部署和扩展建议可能因你自己的要求而异。

我来总结在 Logstash 中一些常用的 lookups。如下的这些插件可以帮助你使用附加信息丰富数据，例如 GeoIP 和用户代理信息。

在我之前的文章 “”，我详述了如何安装 Logstash。在那篇文章中，我详述了直接从 Elastic 官方网站下载各个平台的安装软件，并进行直接安装。在实际的使用中，如果我们需要让 Logstash 也随着操作系统版本的更新而更新，我们实际上可以从操作系统的平台中的仓库进行安装。当操作系统平台中有更新的版本，我们也可以自动更新到新的版本。Logstash 是一个强大的工具，用于收集、转换和发送日志和其他数据。

Grok（动词）直觉地或同理心地理解（某事）。解析日志数据时最常见的任务之一是将原始文本行分解为一组其他工具可以操作的结构化字段。如果你使用的是 Elastic Stack，则可以利用 Elasticsearch 的聚合和 Kibana 的可视化，从日志中提取的信息（如 IP 地址、时间戳和域特定数据）中回答业务和运营问题。对于 Logstash，此解构工作由执行，这是一个过滤器插件，可帮助你描述日志格式的结构。有，它们抽象了诸如和等概念。简单吧？是的！太棒了！我们在这里完成了吗？不！因为...

Logstash是一种服务器端数据处理管道，可同时从多个来源获取数据，对其进行转换，然后将其发送到 “存储”（如 Elasticsearch）。Grok是 Logstash 中的过滤器，用于将非结构化数据解析为结构化和可查询的内容。是定义搜索模式的字符序列。如果你已经在运行 Logstash，则无需安装额外的正则表达式库，因为Grok 位于正则表达式之上，因此任何正则表达式在 grok 中也有效——Elastic 文档。

我们知道 Elasticsearch output plugin 为我们在 Logstash 的 pipeline 中向 Elasticsearch 的写入提供了可能。​在实际的使用中，假如我们的操作不是 index，delete create 或 update 其中的一种，那么我们该如果对文档进行操作呢？比如我们想根据一定的条件来更新文档，就像 update by query 那样？我们该怎么办呢？​

针对带有 HTTPS 访问的 Elasticsearch 集群来说，在我之前的很多文章，我都习惯于使用集群的证书来访问 Elasticsearch。你可以参考我之前的文章 “这是一种非常简便的方法。好处是，我们可以随时使用在安装过程中的证书来访问 Elasticsearch。一个很大的缺点就是，我们必须拷贝证书，并把它放到 Beats 或者 Logstash 可以访问的位置进行配置。这个在使用的过程中非常不方便。相反，我们可以使用 fingerprint 来进行配置 Beats 及 Logstash。

检测解析的日志是否包含单个或多个警告消息，然后添加一个字段来说明这两种情况。在很多的情形下，我们在测试 Logstash 的过滤器时，并不急于把实际的 input 的数据接入到过滤器中来进行测试。我们首先来选择一个比较容易理解的 input 方式，使用一个文档来进行解析，并测试管道。在今天的文章中，我来详细介绍两种常用的方法来如何测试 Logstash 的管道/过滤器。

详细描述如何把 JSON 格式的文件摄入到 Elasticsearch 集群中。

我们知道 Logstash 及 Filebeat 在 Elasticsearch 数据摄入及清理中起到非常大的作用。它们是常用的工具用来对数据进行处理。我们可以运用 Logstash 丰富的过滤器来处理数据，我们也可以使用 Filebeat 的 processors 来处理数据。使用这些工具（和其他工具）对管道进行编码是一个高度迭代的过程，特别是在处理 grok 模式以解析非结构化日志时：你获得一些示例数据，将其提供给 input，然后你将重复： 我一直觉得这个改变管道和检查输出的迭代周期有点慢 — 确保你

我们知道丰富数据对于很多的应用来说非常重要。这涉及到访问不同的表格，并进行搜索匹配。找到最为相近的结果并进行丰富数据。针对 Elasticsearh 来说，我们可以通过 enrich processor来进行丰富。你可以阅读我之前的文章来了解更多：Elasticsearch：enrich processor （7.5发行版新功能）Elasticsearch：如何使用 Elasticsearch ingest 节点来丰富日志和指标Elasticsearch 的新 range 丰富策略使上下文数据分析更上一层楼

本指南介绍了如何使用 Logstash JDBC 输入插件通过 Logstash 将关系数据库中的数据提取到 Elasticsearch 集群中。它演示了如何使用 Logstash 高效地复制记录并从关系数据库接收更新，然后将它们发送到 Elasticsearch 中。此处提供的代码和方法已经过 MySQL 测试。他们应该也适用于其他关系数据库。Logstash Java 数据库连接 (JDBC) 输入插件使你能够从许多流行的关系数据库（包括 MySQL 和 Postgres）中提取数据。