logstash从指定文件读取数据到Elasticsearch

伏特加的滋味

于 2018-09-16 10:36:45 发布

阅读量8.2k

点赞数

分类专栏：框架 Elasticsearch基本使用

本文链接：https://blog.youkuaiyun.com/yuanyuan214365/article/details/82721157

版权

框架同时被 2 个专栏收录

35 篇文章

订阅专栏

Elasticsearch基本使用

3 篇文章

订阅专栏

本文详细介绍使用Logstash从指定CSV文件中读取数据，并通过配置文件和自定义patterns规则，将数据转换后发送至Elasticsearch的过程。涵盖Logstash配置、patterns规则创建及启动命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、logstash：数据处理管道，同时从多个来源，采集数据、转换数据发送到存储库中。该博文主要介绍如何从指定文件读取数据到es中

第一步： logstash配置文件输入输出规则 logstash_FileDemo.conf

input {
	file{
		path => "E:/temp/*.csv"
		start_position => beginning
	}
 }  
  
filter {
	grok {
		patterns_dir => "patterns.txt"
		match =>{ "message" => "%{DATA:name},%{DATA:person_id},%{DATA:email},%{DATA:tel},%{DATA:adress},%{DATA:from}%{S}" }
		}
	mutate{
		remove_field => ["host","path","message","@timestamp","@version"]
}
}
  
output {  
	elasticsearch { hosts => localhost 
					index => "filedemo"
					document_type =>"filedemo"}
	
	stdout { codec => rubydebug } 
}

2、创建patterns规则：patterns.txt文件添加如下内容

S \s

3、输入文件：E:/temp/*.csv