Logstash：如何配置 Metricbeat 及 Logstash 为 Elasticsearch 8.x 收集数据

原创 于 2022-03-21 15:53:39 发布 · 2.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#elasticsearch #logstash

本文详细介绍了如何配置Metricbeat和Logstash，以便于从各种数据源收集数据并将其有效地索引到Elasticsearch8.0中。首先，你需要设置Metricbeat来监控系统指标，然后配置Logstash进行数据过滤和转发。通过这两个工具的协同工作，可以实现高效的数据流入Elasticsearch集群。
博客
Elastic 线下 Meetup 将于 2026 年 1 月 10 号下午在北京举行
11-24 1924
2026年ElasticMeetup北京站将于1月10日在腾讯北京总部举办。活动邀请Elastic、腾讯及新智锦绣专家分享前沿技术，包括Elasticsearch向量搜索与AI应用、MCP超级大脑在智能运维中的实践、腾讯云ES的AI能力建设，以及搜索范式从排序到过滤的转变等主题。现场提供茶歇交流机会，并有抽奖环节。报名需实名登记，成功报名后需联系工作人员获取访客码。活动详情及报名链接：https://elastic.huodongxing.com/event/5835577361800
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Jina-VLM：小型多语言视觉语言模型
12-09 407
Jina-VLM是一款2.4B参数的视觉语言模型，在多语言视觉问答(VQA)任务中达到SOTA水平。该模型创新性地采用attention-pooling连接器，将视觉tokens减少4倍，同时保持性能，使其可在消费级硬件运行。通过两阶段训练流程，模型在29种语言中表现出色，并避免了纯文本能力的灾难性遗忘。目前支持通过API、CLI和Transformers库使用，但存在tiling开销和多图像推理的局限性。
博客
为什么统一的数据、搜索和互操作性对国防任务至关重要
12-09 697
摘要：本文探讨了在多域作战中实现数据敏捷性与主权控制的方法。通过采用开放标准、数据网格架构和AI技术，国防组织可以在保持数据主权的同时实现跨领域安全访问。Elasticsearch平台提供了跨集群搜索、向量搜索等功能，帮助快速分析大规模数据，缩短决策时间。开放标准确保了系统互操作性，支持不同保密级别的数据关联。AI驱动的检索生成技术可在低带宽环境中提供准确情报。这些技术与国防数据战略相契合，为未来作战提供了灵活、可扩展的数据解决方案。
博客
Elasticsearch：过多的副本数量会如何降低性能，以及该如何解决它
12-09 698
摘要：Elasticsearch中合理设置副本数量对集群稳定性至关重要。虽然副本能提高可用性和搜索扩展性，但过多副本会导致写入放大、内存压力、缓存抖动等问题，影响性能。文章分析了高副本数量的适用场景与负面影响，提供了诊断症状和优化建议，强调应根据实际需求而非猜测设置副本数量。通过真实案例说明合理减少副本可显著改善集群稳定性，并澄清了关于副本减少导致节点过载的常见误解。
博客
Elasticsearch：数据脱节如何破坏现代调查
12-07 662
当每分钟都很重要时，调查人员不应该花上数小时去寻找系统已经知道的内容。执法调查越来越受到碎片化数据系统、叙述性证据和无法跟上现代信息量的人工关联流程的阻碍。关键背景分散在不相连的系统和格式中，包括：记录管理系统（ RMS ）计算机辅助调度（ CAD ）平台数字证据存储库车牌识别（ LPR ）数据访谈开源情报调查数据通常包括大量非结构化数据，例如手写现场笔记、音频记录、监控视频等。
博客
使用 LangGraph.js 和 Elasticsearch 构建一个金融 AI 搜索工作流
12-06 961
本文介绍了如何使用LangGraph.js和Elasticsearch构建AI驱动的金融搜索工作流。该系统能将自然语言查询转换为动态条件过滤器，用于投资和市场分析。文章详细阐述了工作流程设计，包括五个核心节点：策略决策、参数准备（投资导向/市场导向）、搜索执行和结果可视化。通过条件分支和混合检索技术，系统能自动选择最优搜索路径，提高查询准确性和效率。作者分享了实践中的关键发现，如过滤器取值展示的重要性、搜索模板的稳定性优势等，并展示了实际应用效果。该方案显著降低了复杂查询构建难度，为金融分析提供了更智能的搜
博客
用变量控件提升 Kibana 仪表板的互动性
12-05 966
Kibana 8.18+版本引入了变量控件功能，为用户提供更灵活的仪表板交互体验。这些控件可直接嵌入ES|QL查询中，允许对单个可视化进行筛选、调整时间间隔或更改分组字段，而不会影响其他面板。用户可以通过查询编辑器快速创建控件，支持多值选择、函数切换等操作。该功能不仅适用于仪表板，也能在Discover中使用。变量控件采用服务器端验证确保安全性，未来还将增加更多功能如链式操作、新控件类型等。这一增强功能显著提升了数据分析和监控效率。
博客
EDB EPAS 通过 PostgreSQL 连接器同步数据到 Elasticsearch
12-04 1445
本文介绍了使用Elasticsearch PostgreSQL Connector实现EnterpriseDB EPAS与Elasticsearch数据同步的方法。该方案通过官方集成工具，将关系型数据库的OLTP能力与ES的全文检索和分析优势结合，支持近实时同步。详细演示了Docker环境下连接器的配置流程，包括证书处理、网络设置等关键步骤，并展示了同步后的数据查询和可视化操作。这种集成方式有效解决了数据孤岛问题，为企业构建实时数据平台提供了高效解决方案。
博客
Elastic Streams 介绍 - 9.2
12-04 752
摘要：Streams通过AI技术简化日志管理流程，实现日志的智能解析、自动分区、事件监测、保留策略和质量控制。它允许将所有日志发送至单一入口点，由系统自动完成结构化处理、分类存储和异常检测，显著降低运维复杂度。该方案帮助团队快速将原始日志转化为可操作洞察，提升故障排查效率，确保数据可靠性，同时优化存储成本。Streams使日志管理从被动记录转变为主动监控工具，为SRE和DevOps团队提供端到端的智能化日志处理解决方案。
博客
Elasticsearch 中的文档级基于属性的访问控制 - ABAC
12-04 1129
本文介绍了如何在Elasticsearch中实现基于属性的访问控制(ABAC)。通过利用Lucene7.1的CoveringQuery特性和Elasticsearch6.1的terms_set查询，结合X-Pack安全功能中的模板化角色查询机制，可以构建比传统基于角色访问控制(RBAC)更灵活的ABAC方案。文章详细演示了如何使用terms_set查询实现"列表AND"逻辑，并通过用户元数据注入属性值来限制文档访问。最后展示了一个包含安全级别、项目列表和认证日期检查的综合ABAC示例，说
博客
Elasticsearch 中使用 NVIDIA cuVS 实现最高快 12 倍的向量索引速度：GPU 加速第 2 章
12-04 1003
Elasticsearch通过与NVIDIA合作集成GPU加速技术，显著提升了向量索引性能。新推出的Elasticsearch-GPU插件利用NVIDIA cuVS库实现高效向量搜索，在测试中展现出12倍的索引吞吐量提升和7倍的合并加速，同时降低CPU使用率。该技术计划在2026年初发布的Elasticsearch 9.3中作为技术预览版推出，为大规模向量工作负载提供更强大的处理能力。
博客
Elastic 与 Accenture 在 GenAI 数据准备方面的合作
12-03 638
Elastic与埃森哲合作推出面向生成式AI的数据准备引擎解决方案，旨在解决企业采用AI时面临的数据分散、缺乏上下文等挑战。该方案整合Elasticsearch的搜索能力、埃森哲的70多个预建连接器及AWS云服务，提供自动化数据集成、安全合规管理、语义搜索等功能，帮助构建统一的AI就绪知识库。通过AWS Marketplace快速部署，该方案支持医疗、金融等多行业实现从AI实验到生产落地的转型，加速生成式AI的商业价值实现。
博客
ES|QL 在 9.2：智能查找连接和时间序列支持
12-03 813
Elasticsearch 9.2对ES|QL查询语言进行了三项重要更新：1）增强LOOKUP JOIN功能，支持多字段连接和复杂表达式；2）新增TS命令用于时间序列分析；3）推出INLINESTATS命令保留原始数据同时进行聚合。这些改进显著提升了数据分析的灵活性、性能和易用性。此外，Kibana Discover新增了直观的lookup索引管理界面，并支持多种新函数。底层优化使查询效率大幅提升，部分场景性能可提高1000倍。
博客
Elasticsearch：专用向量数据库很快就会被遗忘，事实上它从未流行过
12-03 1575
摘要：随着深度学习和大模型的兴起，向量搜索技术从学术研究走向工业应用，但专用向量数据库的独立赛道正面临崩塌。各大传统数据库和云服务商纷纷集成向量搜索功能，技术同质化严重且缺乏壁垒。实际应用中，单纯的向量搜索难以满足需求，"混合搜索"（结合结构化、非结构化和向量数据）成为共识。专用向量数据库因技术局限和生态惯性难以突围，未来或将作为补充能力融入现有数据平台，而非独立存在。向量搜索终将成为数据库的标配功能，而非独立品类。
博客
Elasticsearch：在隔离环境中安装 ELSER 模型
12-02 779
​在我之前的文章 “Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR”，我描述了如何安装 ELSER 模型。在今天的文章中，我来讲讲如何在隔离的环境中安装 ELSER 模型。如果你在有网路的情况下，最容易安装 ELSER 的方法是是使用 inference API。我们可以通过如下的方式来进行。为了测试的方便，我们可以使用如下的方法来删除已经安装好的 ELSER 模型：​
博客
Elastic 在首批获得 AWS Agentic AI 专项认证的合作伙伴中处于领先地位
12-02 1200
Elastic获得AWSAgenticAI专项认证，成为首批获此认证的ISV之一。该认证认可Elastic在开发先进agentic解决方案方面的能力，帮助客户提升业务效率和生产力。Elastic的创新平台通过上下文工程为AI代理提供可靠记忆和精准数据检索，解决大语言模型在跨会话记忆方面的局限。其AgentBuilder工具简化了构建具备上下文感知能力AI助手的过程，支持多模型提供商和定制化开发。这一认证验证了Elastic在生产就绪agenticAI解决方案方面的实力，现已在AWS Marketplace提
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值