22-win10下ElasticSearch.6.1.0与logstash6.1.0的整合

最新推荐文章于 2025-06-10 15:33:12 发布
最新推荐文章于 2025-06-10 15:33:12 发布
阅读量2.3k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-Elasticsearch 文章标签： elasticsearch logstash windows 整合
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/79423360
本文档介绍了如何在Windows 10环境下安装Logstash 6.1.0，并将其与Elasticsearch 6.1.0进行整合。详细步骤包括Logstash的下载与安装，配置文件的编写，数据源设定，以及如何在Elasticsearch中创建索引并运行Logstash。通过这些步骤，读者可以成功将Logstash日志处理数据导入Elasticsearch，并利用Kibana和Head插件进行数据可视化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

第一次使用logstash，想把它整合到es中

1.logstash安装

下载安装

直接下载：https://www.elastic.co/cn/downloads/logstash，下载6.1.0的版本
解压到D:\elasticsearch\logstash-6.1.0目录下

2 es与logstash整合

2.1.配置

这里写图片描述

wjb.conf配置文件如下

input { 
	file { 
		path => "D:/elasticsearch/logstash-6.1.0/shakespeare.json"  # 注释，你需要去掉，数据源
		start_position => "beginning" 
		ignore_older => 0 
		codec => "json" 
		# sincedb_path => "/dev/null" 
		type
了解本专栏 订阅专栏 解锁全文
14-win10下ElasticSearch.6.1.0与head、Kibana、X-Pack、SQL、IK、PINYIN插件的配置安装
九师兄
02-11 4320
这个改版了，以前是6.1.0版本，但是太新了，有些没插件，比如sql，而6.1.3版本以前还算好。 1. Elasticsearch安装： 下载：https://www.elastic.co/cn/downloads/elasticsearch 解压到目录 J:\elasticsearch\elasticsearch-6.1.0 运行J:\elasticsearch\elasticsea...
winlogbeat收集windows日志并通过logstash传到elasticsearch
11-09
winlogbeat收集windows日志并通过logstash传到elasticsearch
Windows下Logstash将MySQL数据传输到ElasticSearch中(小白入门)
weixin_43356308的博客
04-27 1443
参考文档，感谢大佬，纯技术分享 前期准备 Logstash简介：是ELK技术栈中的L，是数据采集引擎，可以从数据库、消息队列等数据源采集数据，设置过滤条件，输出到ElasticSearch等多种数据源中。 官网下载Logstash，选择下载zip文件 注意：ElasticSearch与Logstash需要统一版本（包括如果要用到Kibana也必须相同版本）（我用的均是7.8.0版本，mysql是8.x版本） 官网网址7.8.0网址 下载后解压Logstash压缩包，在根目录下的config文件夹中复制l
日志收集工具-logstash
最新发布
世界万般阻碍，我们见字如面！
06-10 816
elk 日志采集 logstash
windows下通过logstash实现mysql和elasticsearch的简单数据同步 v7.12.0
不洇的博客
04-11 527
文章目录前期准备elasticsearch下载elasticsearch-head下载elasticsearch-analysis-ik下载数据库elasticsearch根据数据库表创建索引logstash下载配置文件启动和效果可能的error 前期准备 先准备好node环境和java环境 elasticsearch下载 elasticsearch 下载完后，双击bin目录下的elasticsearch.bat，启动。 出现如下图所示，则代表成功 elasticsearch-head下载 elasti
Windows上搭建Elasticsearch+Logstash+jdbc+Kibana
谷子的博客
08-03 765
ELK介绍 ElasticSearch：是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 Logstash： 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “...
Logstash6.1.1简介
爱学的狼
01-16 429
一、概述：        Logstash是一个具有实时流水线功能的开源数据收集引擎，可以收集来自不同数据源不同数据格式的数据，将数据过滤也就是标准化后存入es中，是为外界向es传输数据的通道。       虽然Logstash最初推动了日志收集的创新，但其功能远远超出了该场景。任何类型的事件都可以通过广泛的输入，过滤和输出插件进行过滤和转换， logstash通过利用更大容量和更多数据来加速...
logstash-6.1.0.tar.gz
05-08
在`logstash-6.1.0`版本中，它能接收来自各种来源的日志数据，通过配置过滤器进行处理，然后将清洗后的数据发送到Elasticsearch进行存储和索引。 **3. Kibana：** Kibana 是一个数据可视化工具，可以对存储在...
elasticsearch-6.1.0.tar.gz
05-08
**Elasticsearch 6.1.0 源码解析** `elasticsearch-6.1.0.tar.gz` 是一个包含 Elasticsearch 6.1.0 版本源代码的压缩包，是搭建 ELKF 日志分析环境的重要组成部分。ELKF（Elasticsearch, Logstash, Kibana, and ...
filebeat-6.1.0-linux-x86_64.tar.gz
05-08
"filebeat-6.1.0-linux-x86_64.tar.gz" 是一个压缩文件，主要用于Linux环境下x86_64架构的系统。Filebeat是 Elastic Stack（之前被称为 ELK Stack）的一个组件，它是轻量级的日志收集工具，能够从各种日志源采集数据...
安装elasticsearch、logstash、filebeat
技术札记
06-20 347
环境 1. Linux rhel-server-6.9-x86_64-dvd master 192.168.13.149 data 192.168.13.150 JDK1.8 安装elasticsearch5.0————-master节点上 安装logstash-5.0.0.zip———–master节点上 安装filebeat6.1...
Logstash ——filter 四大过滤插件
q1y2y3的博客
07-12 1960
语法：(?举例：捕获10或11和长度的十六进制数的queue_id可以使用表达式(?filter {grok {如果表达式匹配失败，会生成一个tags字段，字段值为 _grokparsefailure，需要重新检查上边的match配置解析是否正确。
Windows下安装logstash
xiang__liu的博客
07-04 1831
1. 下载https://www.elastic.co/downloads/logstashhttps://www.elastic.co/downloads/past-releases2. 文档https://www.elastic.co/cn/products/logstashhttps://github.com/elasticsearch-cn/logstash
Win10安装Logstash
qq_41154522的博客
06-18 2364
使用logstash来实现Oracle到Elasticsearch的数据同步。 下载地址为：https://www.elastic.co/downloads/logstash 与ES版本相同 解压（这里我专门创建了一个文件夹放置ES所有内容） 在logstash目录/bin下，新建一个配置文件，命名为：logstash_test.conf，内容为：input { stdin{ } } output { stdout{ } } 4.在命令行窗口（/bin目录下），执行logstash.bat -f l
windows下安装Logstash
weixin_33964094的博客
08-19 1051
windows下安装Logstash Logstash功能图 下载Logstash的安装包(当前下载的版本为5.5.1) https://www.elastic.co/cn/dow... 使用Nssm命令行管理logstash服务，下载地址：http://www.nssm.cc/download 安装步骤： 解压Logstash到...
Logstash6.x 入门
Ghost_02的博客
01-20 7758
简介         Logstash是一个开源的服务器端数据处理管道，可以同时从多个源获取数据。面对海量的日志量，rsyslog和sed，awk等日志收集，处理工具已经显的力不从心。logstash是一个整合型的框架，可以用以日志的收集，存储，索引构建（一般这个功能被ES取代）。 工作机制    logstash 的服务器端从redis/kafka/rabbitmq
win10+logstash导入数据坑
chuoyao7966的博客
08-08 1423
logstash version 7.1.1 正确的如下 input { file { path => ["D:/elk/logstash-7.1.1/bin/movies.csv"] start_position => "beginning" ...
elasticsearch之Logstash安装和集成
点滴记录，积流成河！
08-01 6134
一 、环境 本例配置到一台服务器，也可以根据相同步骤配置多台(web程序中日志直接输入到logstash，可以配置多台，用destination参数)  192.168.95.128  node-001 二、安装 1. 下载安装，压缩包形式 版本选择跟es版本一致。 logstash-5.6.10.tar.gz 2. 解压到 /opt 目录下 tar -zxvf  logstash-...
[FATAL][org.logstash.Logstash ] Logstash stopped processing because of an error: (SystemExit) exit org.jruby.exceptions.SystemExit: (SystemExit) exit at org.jruby.RubyKernel.exit(org/jruby/RubyKernel.java:747) ~[jruby-complete-9.2.16.0.jar:?] at org.jruby.RubyKernel.exit(org/jruby/RubyKernel.java:710) ~[jruby-complete-9.2.16.0.jar:?] at usr.local.logstash.lib.bootstrap.environment.<main>(/usr/local/logstash/lib/bootstrap/environment.rb:89) ~[?:?]
06-10
<think>我们正在解决两个问题：1.Logstash启动时出现的SystemExit错误2.找到Yum安装Elasticsearch的数据存储路径根据用户需求，我们分别处理：一、Logstash启动时SystemExit错误常见原因及解决方案：1.配置文件错误：检查Logstash配置文件（如/etc/logstash/conf.d/）中的语法2.Java环境问题：确保已安装兼容的Java版本（Logstash7.x需要Java11，6.x需要Java8）3.权限问题：Logstash用户（通常为logstash）需要拥有相关目录（如日志目录、数据目录）的权限4.端口冲突：检查Logstash配置的端口是否被占用5.插件问题：不兼容或缺失的插件可能导致启动失败具体排查步骤：a.使用测试配置启动：```bashsudo-ulogstash/usr/share/logstash/bin/logstash-e'input{stdin{}}output{stdout{}}'```如果能正常运行，则说明基础环境正常，问题出在配置文件上。b.检查配置文件语法：```bash/usr/share/logstash/bin/logstash--config.test_and_exit-f/etc/logstash/conf.d/```该命令会检查配置文件语法并输出错误。c.查看日志：默认日志路径：/var/log/logstash/logstash-plain.logd.检查Java版本：```bashjava-version```确保是Logstash支持的版本。e.检查文件权限：```bashsudochown-Rlogstash:logstash/var/lib/logstashsudochown-Rlogstash:logstash/usr/share/logstashsudochown-Rlogstash:logstash/etc/logstash```二、Yum安装Elasticsearch的数据存储路径默认数据路径：/var/lib/elasticsearch验证方法：a.查看elasticsearch.yml中的path.data配置：```bashgrep'path.data'/etc/elasticsearch/elasticsearch.yml```如果未配置，则使用默认值。b.默认路径存在且拥有elasticsearch用户权限：```bashls-ld/var/lib/elasticsearchsudochown-Relasticsearch:elasticsearch/var/lib/elasticsearch```综合回答：1.先解决Logstash启动错误，确保Logstash能正常运行。2.Elasticsearch的数据默认存储在/var/lib/elasticsearch，如自定义配置，需检查配置文件。注意：Logstash的错误可能有多方面原因，需要逐步排查。</think> ### 一、Logstash启动时SystemExit错误解决方案 Logstash启动时出现`SystemExit`错误通常由配置问题或环境异常引发，以下是完整排查流程： 1. **配置文件语法校验** 使用测试模式检查配置文件： ```bash sudo /usr/share/logstash/bin/logstash --config.test_and_exit -f /etc/logstash/conf.d/ ``` 若有语法错误，终端会显示具体错误位置（如无效的插件名、缩进错误等）[^1] 2. **Java环境检查** Logstash需Java 11+环境，验证： ```bash java -version # 确认版本 echo $JAVA_HOME # 确认路径正确 ``` > **注意**：OpenJDK兼容性问题需安装官方推荐版本： ```bash sudo yum install java-11-openjdk-devel ``` 3. **文件权限修复** 常见权限问题修复命令： ```bash sudo chown -R logstash:logstash /var/lib/logstash sudo chown -R logstash:logstash /etc/logstash sudo chmod 755 /var/log/logstash ``` 4. **资源冲突排查** ```bash # 检查端口占用 sudo ss -tulnp | grep ':5044\|:9600' # 检查内存限制 grep -i "heap" /etc/logstash/jvm.options ``` 建议堆内存设置：`-Xms1g -Xmx1g` 5. **日志分析** 关键日志位置： ```bash tail -50 /var/log/logstash/logstash-plain.log # 主日志 journalctl -u logstash.service -n 50 # 系统服务日志 ``` 常见错误模式： - `Could not execute pipeline` → 插件冲突 - `Failed to create pipeline` → 配置文件错误 --- ### 二、Elasticsearch数据存储路径确认 通过yum安装的Elasticsearch默认数据位置： ``` /var/lib/elasticsearch ``` #### 验证步骤： 1. **官方RPM包规范路径** ```bash rpm -ql elasticsearch | grep "/var/lib" # 输出示例：/var/lib/elasticsearch ``` 2. **配置文件确认** ```bash grep "path.data" /etc/elasticsearch/elasticsearch.yml ``` ▸ 若未配置则使用默认路径[^2] 3. **实际数据目录结构** ```bash sudo tree -L 3 /var/lib/elasticsearch ``` 典型结构： ``` /var/lib/elasticsearch/ └── nodes/ └── 0/ ├── indices/ # 索引数据 ├── _state/ # 集群状态 └── node.lock # 节点锁文件 ``` #### 迁移数据目录（可选）： 1. 在配置中添加： ```yaml path.data: /new/data/path ``` 2. 同步数据： ```bash sudo systemctl stop elasticsearch sudo rsync -av /var/lib/elasticsearch/ /new/data/path/ sudo chown -R elasticsearch:elasticsearch /new/data/path ``` 3. 重启服务： ```bash sudo systemctl start elasticsearch ``` > **提示**：使用`du -sh /var/lib/elasticsearch`可查看数据目录占用空间 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值