Logstash安装和简单用法

最新推荐文章于 2025-06-03 15:44:22 发布
最新推荐文章于 2025-06-03 15:44:22 发布
阅读量847 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 【微服务/SpringCloud】 【ELK】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shenzhen_zsw/article/details/89865569
本文介绍了Logstash的安装过程，主要配置包括用户服务-userConfig、房产服务-houseConfig和api-gateway服务-apiConfig的编写。通过调试工具grok进行日志分析，并详细讲解了如何后台及控制台启动Logstash，以及在同一台机器上启动多个Logstash实例的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Logstash安装和简单用法

Logstash安装和简单用法

主要配置概述

			1) input plugins输入
				file/http/jdbc/kafka/redis/log4j
				file
					path:可以用通配符来指定多个；
					sincedb_path:指定一个文件，用来追踪当前监听日志的当前位置；
					start_position: 从哪开始读取；beginning从头开始,end从追加后的位置开始读取；

			2) output plugins输出
				hosts:可以定义多个es集群；
				index:logstash-%{+YYYY.MM.dd}
				document_type:logstash6.0以上的版本，建议不要配置；

			3) filter plugins
				grok:解析非格式化的数据编程格式化的数据,默认还是匹配单行的日志收集；
					match:
			4) codec plugins : 
				multiline:可以匹配多行；
					pattern: "pattern, a regexp"
						pattern => "^%{TIMESTAMP_ISO08601}"
					negate: "true" or "false"
					what:"previous" or "next"
						previous:则匹配到后，将上一条的数据进行输出；
						pattern表达式匹配到且negate为true则表示为多行日志收集；

Logstash配置

用来调试grok

http://grokdebug.herokuapp.com/

服务输出日志分析


2019-05-05 21:40:54.272 [http-nio-8084-exec-8] INFO  [org.zalando.logbook.Logbook:74] [0fb59ff38987e1be,4f70a113eb31d536] - Incoming Request: 80232fe1-3883-4582-a20a-f73d900bfd43
GET http://discovery:8084/house/hot?size=3 HTTP/1.1
x-b3-parentspanid: 0fb59ff38987e1be
x-span-name: http:/house/hot
x-b3-traceid: 0fb59ff38987e1be
x-b3-spanid: 4f70a113eb31d536
x-b3-sampled: 1
host: discovery:8084
connection: Keep-Alive
accept-encoding: gzip,deflate
user-agent: agent
accept: application/json, application/json, application/*+json, application/*+json
2019-05-05 21:40:54.278 [http-nio-8084-exec-8] DEBUG [com.mooc.house.hsrv.mapper.HouseMapper.selectHouse:] [0fb59ff38987e1be,4f70a113eb31d536] - ==>  Preparing: select a.id , a.type, a.name, a.price, a.images , a.area , a.beds , a.baths , a.rating , a.remarks , a.properties , a.floor_plan , a.tags , a.create_time , a.city_id , a.community_id , a.address, a.state, b.user_id from house a inner join ( select house_id,user_id from house_user WHERE type = 1 ) b on a.id = b.house_id WHERE state = 1 and id in ( ? ) order by a.create_time desc limit ?, ? 
2019-05-05 21:40:54.285 [http-nio-8084-exec-8] DEBUG [com.mooc.house.hsrv.mapper.HouseMapper.selectHouse:] [0fb59ff38987e1be,4f70a113eb31d536] - ==> Parameters: 26(Long), 0(Integer), 3(Integer)
2019-05-05 21:40:54.293 [http-nio-8084-exec-8] DEBUG [com.mooc.house.hsrv.mapper.HouseMapper.selectHouse:] [0fb59ff38987e1be,4f70a113eb31d536] - <==      Total: 1
2019-05-05 21:40:54.295 [http-nio-8084-exec-8] INFO  [org.zalando.logbook.Logbook:79] [0fb59ff38987e1be,4f70a113eb31d536] - Outgoing Response: 80232fe1-3883-4582-a20a-f73d900bfd43
HTTP/1.1 200 OK
X-Application-Context: house:8084
Content-Length: 1050
Date: Sun, 05 May 2019 13:40:54 GMT
Content-Type: application/json;charset=UTF-8

-------------------------将日志字段转换成对应的表达式-------------------------------
(?m):指可以匹配多行，若没有这个，则只匹配一行；
2019-05-05 21:40:54.272 :%{TIMESTAMP_ISO8601:timestamp}\s
[http-nio-8084-exec-8] :+\[%{DATA:thread}\]\s
INFO  :+%{DATA:level}\s
[org.zalando.logbook.Logbook:74] :+\[%{DATA:class}\]\s
[0fb59ff38987e1be,4f70a113eb31d536] :+\[%{DATA:trace},%{DATA:span}\]\s
- Incoming Request: 80232fe1-3883-4582-a20a-f73d900bfd43......:+-\s+%{GREEDYDATA:msg}

logstash配置编写

用户服务-userConfig

vim config/userConfig

#输入配置编写
input {
	file {
		path => "/application/soft/weifuwu-house/logs/user/house-info*" 
		sincedb_path => "/application/logstash-6.1.1/sincedb_user" 
		codec => multiline {    
			pattern	=> "^%{TIMESTAMP_ISO8601}"
			negate	=> true
			what	=> "previous"
		}
	}
}


filter {
	#grok将非结构化的数据转换成结构化数据的一个插件 
	grok {
		match => {
			"message" => "(?m)%{TIMESTAMP_ISO8601:timestamp}\s+\[%{DATA:thread}\]\s+%{DATA:level}\s+\[%{DATA:class}\]\s+\[%{DATA:trace},%{DATA:span}\]\s+-\s+%{GREEDYDATA:msg}" 
		}
	}

	#结构化输出后，还需要增加一些字段，可以使用mutate插件
	mutate {
		"add_field" => {"appname" => "user"}
	}
}


#输出配置编写
output {
  elasticsearch {
    hosts => ["192.168.2.10:9200"]
    index => "house-info-%{+YYYY.MM.dd}"
  }

  #控制台上也输出，可以方便查看、调试
  stdout {
	codec => "rubydebug"
  }
}
房产服务-houseConfig

vim config/houseConfig

#输入配置编写
input {
	file {
		path => "/application/soft/weifuwu-house/logs/house/house-info*" 
		sincedb_path => "/application/logstash-6.1.1/sincedb_house" 
		codec => multiline {    
			pattern	=> "^%{TIMESTAMP_ISO8601}"
			negate	=> true
			what	=> "previous"
		}
	}
}

filter {
	#grok将非结构化的数据转换成结构化数据的一个插件 
	grok {
		match => {
			"message" => "(?m)%{TIMESTAMP_ISO8601:timestamp}\s+\[%{DATA:thread}\]\s+%{DATA:level}\s+\[%{DATA:class}\]\s+\[%{DATA:trace},%{DATA:span}\]\s+-\s+%{GREEDYDATA:msg}" 
		}
	}

	#结构化输出后，还需要增加一些字段，可以使用mutate插件
	mutate {
		"add_field" => {"appname" => "house"}
	}
}


#输出配置编写
output {
  elasticsearch {
    hosts => ["192.168.2.10:9200"]
    index => "house-info-%{+YYYY.MM.dd}"
  }

  #控制台上也输出，可以方便查看、调试
  stdout {
	codec => "rubydebug"
  }
}
api-gateway服务-apiConfig

vim config/apiConfig

#输入配置编写
input {
	file {
		path => "/application/soft/weifuwu-house/logs/api/house-info*" 
		sincedb_path => "/application/logstash-6.1.1/sincedb_api" 
		codec => multiline {    
			pattern	=> "^%{TIMESTAMP_ISO8601}"
			negate	=> true
			what	=> "previous"
		}
	}
}


filter {
	#grok将非结构化的数据转换成结构化数据的一个插件 
	grok {
		match => {
			"message" => "(?m)%{TIMESTAMP_ISO8601:timestamp}\s+\[%{DATA:thread}\]\s+%{DATA:level}\s+\[%{DATA:class}\]\s+\[%{DATA:trace},%{DATA:span}\]\s+-\s+%{GREEDYDATA:msg}" 
		}
	}

	#结构化输出后，还需要增加一些字段，可以使用mutate插件
	mutate {
		"add_field" => {"appname" => "api"}
	}
}


#输出配置编写
output {
  elasticsearch {
    hosts => ["192.168.2.10:9200"]
    index => "house-info-%{+YYYY.MM.dd}"
  }

  #控制台上也输出，可以方便查看、调试
  stdout {
	codec => "rubydebug"
  }
}

启动logstash

在启动logstash之前，需要先启动eureka/zipkin/user/house/comment/api-gateway微服务；

后台启动

# 日志输出到nohup文件中，可以用less hohup进行查看；
nohup bin/logstash -f houseConfig &

控制台启动

/application/logstash-6.1.1/bin/logstash -f /application/logstash-6.1.1/config/houseConfig

一台机器启动多个logstash实例

启动用户服务对应logstash
# 启动日志输出到指定位置
nohup /application/logstash-6.1.1/bin/logstash -f /application/logstash-6.1.1/config/userConfig --path.data=/application/logstash-6.1.1/userdata &> nohup1.out & 

#启动日志输出到控制台
/application/logstash-6.1.1/bin/logstash -f /application/logstash-6.1.1/config/userConfig --path.data=/application/logstash-6.1.1/userdata
启动api-gateway服务对应logstash
/application/logstash-6.1.1/bin/logstash -f /application/logstash-6.1.1/config/apiConfig --path.data=/application/logstash-6.1.1/apidata

测试

访问项目主页http://192.168.2.10:8080/index，进行相关操作，可以看到有对应的日志输出；

{
      "@version" => "1",
         "level" => "INFO",
         "trace" => "b8c1b7d3398cd623",
          "host" => "discovery",
         "class" => "org.zalando.logbook.Logbook:79",
    "@timestamp" => 2019-05-05T19:30:03.366Z,
        "thread" => "http-nio-8084-exec-7",
       "message" => "2019-05-06 03:29:26.040 [http-nio-8084-exec-7] INFO  [org.zalando.logbook.Logbook:79] [b8c1b7d3398cd623,6d759dea0421fcd2] - Outgoing Response: 2f9ab6e8-8ca4-42c5-a620-a6d51ae7aed3\nHTTP/1.1 200 OK\nX-Application-Context: house:8084\nContent-Length: 5899\nDate: Sun, 05 May 2019 19:29:26 GMT\nContent-Type: application/json;charset=UTF-8\n{\"code\":0,\"msg\":\"OK\",\"result\":[{\"address\":\"中北后海面一号\",\"area\":400,\"baths\":3,\"beds\":3,\"bookmarked\":false,\"cityId\":1,\"communityId\":3,\"createTime\":1515168000000,\"featureList\":[\"满五年\",\"满两年\",\"采光好\",\"高楼层\",\"环境好\",\"价格合理\",\"楼龄新\",\"带阳台\",\"税少\",\"得房率高\",\"临地铁\"],\"firstImg\":\"http://127.0.0.1:8081/images/1500801115/property-09.jpg\",\"floorPlan\":\"\",\"floorPlanList\":[],\"id\":26,\"imageList\":[\"http://127.0.0.1:8081/images/1500801115/property-09.jpg\",\"http://127.0.0.1:8081/images/1500801115/property-10.jpg\",\"http://127.0.0.1:8081/images/1500801115/property-11.jpg\"],\"images\":\"/1500801115/property-09.jpg,/1500801115/property-10.jpg,/1500801115/property-11.jpg\",\"name\":\"中央广场3层大四居\",\"price\":500,\"priceStr\":\"500万\",\"properties\":\"满五年,满两年,采光好,高楼层,环境好,价格合理,楼龄新,带阳台,税少,得房率高,临地铁\",\"rating\":5.0,\"remarks\":\"中央广场3层大四居豪华装修\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":38},{\"address\":\"\\b清河中街\",\"area\":299,\"baths\":3,\"beds\":3,\"bookmarked\":false,\"cityId\":1,\"communityId\":7,\"createTime\":1515168000000,\"featureList\":[\"满两年\",\"南北通透\",\"高楼层\",\"环境好\",\"楼龄新\",\"带阳台\",\"得房率高\",\"临地铁\"],\"firstImg\":\"http://127.0.0.1:8081/images/1515253220/property-13.jpg\",\"floorPlan\":\"/1515253246/floor-plan-01.jpg\",\"floorPlanList\":[\"http://127.0.0.1:8081/images/1515253246/floor-plan-01.jpg\"],\"id\":27,\"imageList\":[\"http://127.0.0.1:8081/images/1515253220/property-13.jpg\",\"http://127.0.0.1:8081/images/1515253220/property-12.jpg\",\"http://127.0.0.1:8081/images/1515253220/property-11.jpg\"],\"images\":\"/1515253220/property-13.jpg,/1515253220/property-12.jpg,/1515253220/property-11.jpg\",\"name\":\"北街嘉园 全南向 南北通透\",\"price\":300,\"priceStr\":\"300万\",\"properties\":\"满两年,南北通透,高楼层,环境好,楼龄新,带阳台,得房率高,临地铁\",\"rating\":0.0,\"remarks\":\"北街嘉园 全南向 南北通透\",\"roundRating\":0,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":38},{\"address\":\"清河中街\",\"area\":130,\"baths\":2,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":4,\"createTime\":1494172800000,\"featureList\":[\"得房率高\",\"临地铁\",\"户型好\",\"没有遮挡\",\"落地窗\",\"精装修\"],\"firstImg\":\"http://127.0.0.1:8081/images/1494256315/property-12.jpg\",\"floorPlan\":\"/1494256315/floor-plan-01.jpg,/1494256315/floor-plan-02.jpg\",\"floorPlanList\":[\"http://127.0.0.1:8081/images/1494256315/floor-plan-01.jpg\",\"http://127.0.0.1:8081/images/1494256315/floor-plan-02.jpg\"],\"id\":25,\"imageList\":[\"http://127.0.0.1:8081/images/1494256315/property-12.jpg\",\"http://127.0.0.1:8081/images/1494256315/property-13.jpg\"],\"images\":\"/1494256315/property-12.jpg,/1494256315/property-13.jpg\",\"name\":\"\\b橡树湾 南北通透 三居室\",\"price\":800,\"priceStr\":\"800万\",\"properties\":\"得房率高,临地铁,户型好,没有遮挡,落地窗,精装修\",\"rating\":5.0,\"remarks\":\"\\b橡树湾 南北通透\\b橡树湾 南北通透\\b橡树湾 南北通透\\b橡树湾 南北通透\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":2,\"userId\":25},{\"address\":\"西城区\",\"area\":140,\"baths\":2,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":5,\"createTime\":1493395200000,\"featureList\":[\"南北通透\",\"环境好\",\"带阳台\"],\"firstImg\":\"http://127.0.0.1:8081/images/1493432771/property-11.jpg\",\"floorPlan\":\"/1493432771/floor-plan-01.jpg,/1493432771/floor-plan-02.jpg\",\"floorPlanList\":[\"http://127.0.0.1:8081/images/1493432771/floor-plan-01.jpg\",\"http://127.0.0.1:8081/images/1493432771/floor-plan-02.jpg\"],\"id\":24,\"imageList\":[\"http://127.0.0.1:8081/images/1493432771/property-11.jpg\",\"http://127.0.0.1:8081/images/1493432771/property-12.jpg\",\"http://127.0.0.1:8081/images/1493432771/property-13.jpg\"],\"images\":\"/1493432771/property-11.jpg,/1493432771/property-12.jpg,/1493432771/property-13.jpg\",\"name\":\"阳光丽景 三面采光 高楼层\",\"price\":140,\"priceStr\":\"140万\",\"properties\":\"南北通透,环境好,带阳台\",\"rating\":4.0,\"remarks\":\"阳光丽景 三面采光 高楼层\",\"roundRating\":4,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":7},{\"address\":\"西山华府\",\"area\":120,\"baths\":12,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":1,\"createTime\":1493308800000,\"featureList\":[\"得房率高\",\"户型好\",\"落地窗\"],\"firstImg\":\"http://127.0.0.1:8081/images/1493370993/property-07.jpg\",\"floorPlan\":\"\",\"floorPlanList\":[],\"id\":22,\"imageList\":[\"http://127.0.0.1:8081/images/1493370993/property-07.jpg\",\"http://127.0.0.1:8081/images/1493370999/property-08.jpg\"],\"images\":\"/1493370993/property-07.jpg,/1493370999/property-08.jpg\",\"name\":\"西山华府 120平\",\"price\":600,\"priceStr\":\"600万\",\"properties\":\"得房率高,户型好,落地窗\",\"rating\":5.0,\"remarks\":\"西山华府 120平西山华府 120平西山华府 120平西山华府 120平西山华府 120平\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":7},{\"address\":\"\\b清河中街\",\"area\":120,\"baths\":2,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":2,\"createTime\":1493308800000,\"featureList\":[\"满五年\",\"采光好\",\"价格合理\",\"税少\",\"学区房\"],\"firstImg\":\"http://127.0.0.1:8081/images/1493381459/property-detail-01.jpg\",\"floorPlan\":\"\",\"floorPlanList\":[],\"id\":23,\"imageList\":[\"http://127.0.0.1:8081/images/1493381459/property-detail-01.jpg\",\"http://127.0.0.1:8081/images/1493381460/property-detail-02.jpg\",\"http://127.0.0.1:8081/images/1493381462/property-detail-03.jpg\"],\"images\":\"/1493381459/property-detail-01.jpg,/1493381460/property-detail-02.jpg,/1493381462/property-detail-03.jpg\",\"name\":\"万柳书苑 180平 南北通透\",\"price\":800,\"priceStr\":\"800万\",\"properties\":\"满五年,采光好,价格合理,税少,学区房\",\"rating\":5.0,\"remarks\":\"万柳书苑 180平 南北通透\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":7}]}",
          "tags" => [
        [0] "multiline"
    ],
       "appname" => "house",
           "msg" => "Outgoing Response: 2f9ab6e8-8ca4-42c5-a620-a6d51ae7aed3\nHTTP/1.1 200 OK\nX-Application-Context: house:8084\nContent-Length: 5899\nDate: Sun, 05 May 2019 19:29:26 GMT\nContent-Type: application/json;charset=UTF-8\n{\"code\":0,\"msg\":\"OK\",\"result\":[{\"address\":\"中北后海面一号\",\"area\":400,\"baths\":3,\"beds\":3,\"bookmarked\":false,\"cityId\":1,\"communityId\":3,\"createTime\":1515168000000,\"featureList\":[\"满五年\",\"满两年\",\"采光好\",\"高楼层\",\"环境好\",\"价格合理\",\"楼龄新\",\"带阳台\",\"税少\",\"得房率高\",\"临地铁\"],\"firstImg\":\"http://127.0.0.1:8081/images/1500801115/property-09.jpg\",\"floorPlan\":\"\",\"floorPlanList\":[],\"id\":26,\"imageList\":[\"http://127.0.0.1:8081/images/1500801115/property-09.jpg\",\"http://127.0.0.1:8081/images/1500801115/property-10.jpg\",\"http://127.0.0.1:8081/images/1500801115/property-11.jpg\"],\"images\":\"/1500801115/property-09.jpg,/1500801115/property-10.jpg,/1500801115/property-11.jpg\",\"name\":\"中央广场3层大四居\",\"price\":500,\"priceStr\":\"500万\",\"properties\":\"满五年,满两年,采光好,高楼层,环境好,价格合理,楼龄新,带阳台,税少,得房率高,临地铁\",\"rating\":5.0,\"remarks\":\"中央广场3层大四居豪华装修\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":38},{\"address\":\"\\b清河中街\",\"area\":299,\"baths\":3,\"beds\":3,\"bookmarked\":false,\"cityId\":1,\"communityId\":7,\"createTime\":1515168000000,\"featureList\":[\"满两年\",\"南北通透\",\"高楼层\",\"环境好\",\"楼龄新\",\"带阳台\",\"得房率高\",\"临地铁\"],\"firstImg\":\"http://127.0.0.1:8081/images/1515253220/property-13.jpg\",\"floorPlan\":\"/1515253246/floor-plan-01.jpg\",\"floorPlanList\":[\"http://127.0.0.1:8081/images/1515253246/floor-plan-01.jpg\"],\"id\":27,\"imageList\":[\"http://127.0.0.1:8081/images/1515253220/property-13.jpg\",\"http://127.0.0.1:8081/images/1515253220/property-12.jpg\",\"http://127.0.0.1:8081/images/1515253220/property-11.jpg\"],\"images\":\"/1515253220/property-13.jpg,/1515253220/property-12.jpg,/1515253220/property-11.jpg\",\"name\":\"北街嘉园 全南向 南北通透\",\"price\":300,\"priceStr\":\"300万\",\"properties\":\"满两年,南北通透,高楼层,环境好,楼龄新,带阳台,得房率高,临地铁\",\"rating\":0.0,\"remarks\":\"北街嘉园 全南向 南北通透\",\"roundRating\":0,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":38},{\"address\":\"清河中街\",\"area\":130,\"baths\":2,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":4,\"createTime\":1494172800000,\"featureList\":[\"得房率高\",\"临地铁\",\"户型好\",\"没有遮挡\",\"落地窗\",\"精装修\"],\"firstImg\":\"http://127.0.0.1:8081/images/1494256315/property-12.jpg\",\"floorPlan\":\"/1494256315/floor-plan-01.jpg,/1494256315/floor-plan-02.jpg\",\"floorPlanList\":[\"http://127.0.0.1:8081/images/1494256315/floor-plan-01.jpg\",\"http://127.0.0.1:8081/images/1494256315/floor-plan-02.jpg\"],\"id\":25,\"imageList\":[\"http://127.0.0.1:8081/images/1494256315/property-12.jpg\",\"http://127.0.0.1:8081/images/1494256315/property-13.jpg\"],\"images\":\"/1494256315/property-12.jpg,/1494256315/property-13.jpg\",\"name\":\"\\b橡树湾 南北通透 三居室\",\"price\":800,\"priceStr\":\"800万\",\"properties\":\"得房率高,临地铁,户型好,没有遮挡,落地窗,精装修\",\"rating\":5.0,\"remarks\":\"\\b橡树湾 南北通透\\b橡树湾 南北通透\\b橡树湾 南北通透\\b橡树湾 南北通透\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":2,\"userId\":25},{\"address\":\"西城区\",\"area\":140,\"baths\":2,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":5,\"createTime\":1493395200000,\"featureList\":[\"南北通透\",\"环境好\",\"带阳台\"],\"firstImg\":\"http://127.0.0.1:8081/images/1493432771/property-11.jpg\",\"floorPlan\":\"/1493432771/floor-plan-01.jpg,/1493432771/floor-plan-02.jpg\",\"floorPlanList\":[\"http://127.0.0.1:8081/images/1493432771/floor-plan-01.jpg\",\"http://127.0.0.1:8081/images/1493432771/floor-plan-02.jpg\"],\"id\":24,\"imageList\":[\"http://127.0.0.1:8081/images/1493432771/property-11.jpg\",\"http://127.0.0.1:8081/images/1493432771/property-12.jpg\",\"http://127.0.0.1:8081/images/1493432771/property-13.jpg\"],\"images\":\"/1493432771/property-11.jpg,/1493432771/property-12.jpg,/1493432771/property-13.jpg\",\"name\":\"阳光丽景 三面采光 高楼层\",\"price\":140,\"priceStr\":\"140万\",\"properties\":\"南北通透,环境好,带阳台\",\"rating\":4.0,\"remarks\":\"阳光丽景 三面采光 高楼层\",\"roundRating\":4,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":7},{\"address\":\"西山华府\",\"area\":120,\"baths\":12,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":1,\"createTime\":1493308800000,\"featureList\":[\"得房率高\",\"户型好\",\"落地窗\"],\"firstImg\":\"http://127.0.0.1:8081/images/1493370993/property-07.jpg\",\"floorPlan\":\"\",\"floorPlanList\":[],\"id\":22,\"imageList\":[\"http://127.0.0.1:8081/images/1493370993/property-07.jpg\",\"http://127.0.0.1:8081/images/1493370999/property-08.jpg\"],\"images\":\"/1493370993/property-07.jpg,/1493370999/property-08.jpg\",\"name\":\"西山华府 120平\",\"price\":600,\"priceStr\":\"600万\",\"properties\":\"得房率高,户型好,落地窗\",\"rating\":5.0,\"remarks\":\"西山华府 120平西山华府 120平西山华府 120平西山华府 120平西山华府 120平\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":7},{\"address\":\"\\b清河中街\",\"area\":120,\"baths\":2,\"beds\":2,\"bookmarked\":false,\"cityId\":1,\"communityId\":2,\"createTime\":1493308800000,\"featureList\":[\"满五年\",\"采光好\",\"价格合理\",\"税少\",\"学区房\"],\"firstImg\":\"http://127.0.0.1:8081/images/1493381459/property-detail-01.jpg\",\"floorPlan\":\"\",\"floorPlanList\":[],\"id\":23,\"imageList\":[\"http://127.0.0.1:8081/images/1493381459/property-detail-01.jpg\",\"http://127.0.0.1:8081/images/1493381460/property-detail-02.jpg\",\"http://127.0.0.1:8081/images/1493381462/property-detail-03.jpg\"],\"images\":\"/1493381459/property-detail-01.jpg,/1493381460/property-detail-02.jpg,/1493381462/property-detail-03.jpg\",\"name\":\"万柳书苑 180平 南北通透\",\"price\":800,\"priceStr\":\"800万\",\"properties\":\"满五年,采光好,价格合理,税少,学区房\",\"rating\":5.0,\"remarks\":\"万柳书苑 180平 南北通透\",\"roundRating\":5,\"sort\":\"time_desc\",\"state\":1,\"tags\":\"\",\"type\":1,\"userId\":7}]}",
     "timestamp" => "2019-05-06 03:29:26.040",
          "span" => "6d759dea0421fcd2",
          "path" => "/application/soft/weifuwu-house/logs/house/house-info.log"
}
{
      "@version" => "1",
         "level" => "INFO",
         "trace" => "06e3227a6812700b",
          "host" => "discovery",
         "class" => "org.zalando.logbook.Logbook:74",
    "@timestamp" => 2019-05-05T19:30:03.369Z,
        "thread" => "http-nio-8084-exec-8",
       "message" => "2019-05-06 03:30:03.184 [http-nio-8084-exec-8] INFO  [org.zalando.logbook.Logbook:74] [06e3227a6812700b,2b2853e7f2039731] - Incoming Request: d2d74a52-af0e-40e6-a9a2-cd94b244231f\nGET http://discovery:8084/house/lastest HTTP/1.1\nx-b3-parentspanid: 06e3227a6812700b\nx-span-name: http:/house/lastest\nx-b3-traceid: 06e3227a6812700b\nx-b3-spanid: 2b2853e7f2039731\nx-b3-sampled: 1\nhost: discovery:8084\nconnection: Keep-Alive\naccept-encoding: gzip,deflate\nuser-agent: agent\naccept: application/json, application/json, application/*+json, application/*+json",
          "tags" => [
        [0] "multiline"
    ],
       "appname" => "house",
           "msg" => "Incoming Request: d2d74a52-af0e-40e6-a9a2-cd94b244231f\nGET http://discovery:8084/house/lastest HTTP/1.1\nx-b3-parentspanid: 06e3227a6812700b\nx-span-name: http:/house/lastest\nx-b3-traceid: 06e3227a6812700b\nx-b3-spanid: 2b2853e7f2039731\nx-b3-sampled: 1\nhost: discovery:8084\nconnection: Keep-Alive\naccept-encoding: gzip,deflate\nuser-agent: agent\naccept: application/json, application/json, application/*+json, application/*+json",
     "timestamp" => "2019-05-06 03:30:03.184",
          "span" => "2b2853e7f2039731",
          "path" => "/application/soft/weifuwu-house/logs/house/house-info.log"
}
Logstash安装部署
lmj3732018的博客
11-23 4108
1. 部署及安装所用的用户不能是root。
Logstash 的三种安装部署方式（YUM、二进制、Docker）详解
博客虽小，世界尽在其中
05-18 3666
本文全面介绍了Logstash的三种主流安装部署方式：YUM、二进制包和Docker容器。Logstash作为Elasticsearch生态中的重要一员，用于数据收集、解析和转发，为企业级日志管理提供了强大的支持。本文旨在帮助读者根据自己的实际需求和技术环境，选择最合适的Logstash安装部署方案。 一、YUM 安装方式 通过YUM源安装Logstash，可以自动处理依赖关系，简化安装过程。本文详细说明了在基于RPM的Linux系统上，如何配置YUM源，并执行安装命令，以及如何验证安装是否成功。此外，
logstash-intellij-plugin:Logstash配置对IntelliJ IDE的支持
03-07
Logstash配置对IntelliJ的支持 IntelliJ IDE的插件以支持弹性配置文件 特征 语法高亮 关键字补全 大括号匹配 自动评论 安装 使用IDE内置插件系统： 文件>设置>插件>浏览存储库... >搜索“ logstash” >安装插件 手动： 下载并使用“首选项” >“插件” >“从磁盘安装插件”手动安装。
Rancher 部署 logstash
The Fifth Leaf 的博客
11-18 1333
Rancher On logstash一、下载logstash镜像二、创建挂载目录与映射配置文件2.1 创建配置文件2.2 配置启动命令2.3 映射配置文件 概述： logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索
ElasticStack技术之logstash介绍
.
06-03 1007
Logstash作为一款功能强大的开源数据处理管道工具，在数据收集、处理和传输等方面发挥着重要作用。它与Elasticsearch、Kibana等工具配合使用，能够实现高效的数据管理和分析，广泛应用于日志处理、数据监控等领域，为企业和开发者提供了有力的支持。
Logstash入门-Logstash
抽象的螺旋
12-22 288
概述 Logstash 是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要 Beats 中没有的其他处理，则需要将 Logstash 添加到部署中。 简介 Logstash是一个数据流引擎 它适用于数据流的开源式ETL（Extract-Transform-Load：提取、传输、加载）引擎； 在几分钟内建立数据流管道； 具有水平可扩展及韧性且具有自适应缓冲； 不可知的数据源； 具有200多个集成和处理器的插件生态系统； 使用Ela
logstash安装办法
03-01
#### 三、简单使用方法 1. **配置文件结构** - **配置文件**由三部分组成：`input`、`filter` 和 `output`。 - `input`：用于定义数据来源。 - `filter`：用于对数据进行过滤和转换。 - `output`：用于定义数据...
云端技术驾驭DAY04——Logstash安装部署及插件模块
川川野马的博客
02-17 1335
什么是Logstash– 是一个数据采集、加工处理以及传输的工具Logstash特点– 所有类型的数据集中处理– 不同模式和格式数据的正常化– 自定义日志格式的迅速扩展– 为自定义数据源轻松添加插件Logstash结构原理结构解释input负责收集数据filter负责处理数据output负责输出数据Logstash支持的数据类型– 布尔、字节、字符串、数值、数组、键值对Logstash支持的判断方法判断方法解释==等于!不等于大于小于。
Logstash的安装以及使用
weixin_40618306的博客
03-19 1183
Logstash是一款基于插件的数据收集和处理引擎。Logstash配有大量的插件，一边人们能够轻松进行配置以在多种不同的架构中收集，处理并转发数据。处理过程可分为一个或多个管道，在每个管道中，会有一个或多个输入插件接收或收集数据，然后这些数据会加入内部队列。默认情况下，这些数据很少并且会存储在内存中，但是为了提高可靠性和弹性，也可进行配置以扩大规模并长期存储在磁盘上。处理线程会以小批量的形式从队列中读取数据，并通过任何配置的过滤插件按顺序进行处理。
使用docker安装logstash的具体方法
小桥流水 的专栏
03-07 3275
这个方法安装logstash会比较方便，容易维护。
日志分析系统 [ 2 ] --- Logstash 安装与使用，Filebeat 安装与使用
Neko的博客
12-30 529
文章目录企业级日志分析系统一、Logstash 入门1、安装2、配置输入和输出1.管道配置文件2.使用Grok过滤器插件解析Web日志3 使用Geoip过滤器插件增强数据编辑二、Filebeat 安装与使用1、安装2、启用和配置数据收集模块1 查看可以启用的模块列表2 在安装目录中，启用一个或多个模块。2.1 启用 nginx 模块2.2 配置 nginx 模块3 修改配置文件4 启动三、Elasticsearch + Logstash + Filebeat 用于生产环境的简单配置方案 企业级日志分析系统
Logash+Elasticsearch+Kibana 日志系统全套安装部署.pdf
01-25
Logash+Elasticsearch+Kibana 日志系统安装部署教程。。
记录Logstash从入门到上线
NNNathan的博客
08-16 956
记录Logstash从入门到上线 背景 现有一需求，需要做埋点数据，记录每一次请求时间、耗时等数据。根据设计要以记日志的形式使用ELK记录并分析埋点数据。由于之前并没有接触过ELK，因此本次将学习到上线的思路记录下来。 V0 思路 ELK是啥，Logstash是啥，完全不清楚。稍微百度了一下可以简单理解为ES作为仓库，Logstash作为中转和过滤数据的服务，Kibina作为数据分析工具。 目前项目里使用Logback+slf4j作为日志工具。记录日志的方式为 log.info("xxxxx"); xxxx
Logstash测试配置
ljw1211的博客
05-09 2218
测试Logstash是否正常安装使用 本文的基础是在服务器上已经安装好了Logstash，通过以下的配置对Logstash进行测试。 Logstash的主配置文件介绍： cat /etc/logstash/logstash.yml ###文件中大部分配置均注释掉了，需要可自行配置，安装完成后，有以下两个配置： path.data: /var/lib/logstash #数据存储路径 path.logs: /var/log/logstash #日志输出路径 配置Logstash vim /e
logstash使用总结
csdncjh的博客
06-11 4898
如下实现了取@timestamp的天，动态创建index索引以itemId字段作为索引idlush_size和两个参数共同控制 Logstash 向 Elasticsearch 发送批量数据的行为。以上面示例来说：Logstash 会努力攒到 5条数据一次性发送出去，但是如果 5秒钟内也没攒够 5条，Logstash 还是会以当前攒到的数据量发一次。flush_size的大小不能超过 Logstash 运行时的命令行参数设置的batch_size，否则将以batch_size为批量发送的大小。
LogStash安装
热门推荐
Fisher3652的博客
03-13 1万+
目录1. 下载安装报2. 上传到服务器3. 启动 Logstash4. 连接 Elasticsearch 1. 下载安装报 这里选择7.14.0版本，下载地址 2. 上传到服务器 解压 tar -zxvf logstash-7.14.0-linux-x86_64.tar.gz 3. 启动 Logstash Logstash 的启动命令位于安装路径的 bin 目录中，直接运行 logstash 不行， 需要按如下方式提供参数: ./logstash -e "input {stdin {
轻松测试 logstash 的配置文件
weixin_30621959的博客
03-22 1487
配置文件本身非常脆弱！所以修改配置文件自然会引入部署失败的风险。如果能够对配置文件进行自动化测试将会极大的降低这种风险。本文将介绍一个可以自动化测试 logstash 配置文件的工具，让大家可以像写单元测试用例一样为 logstash 配置文件创建测试 case，并以快速迭代的方式变更 logstash 配置文件。 噩梦 在很多真实环境中，变更 logstash 的配置文件几乎是个噩梦。日志不...
Logstash——安装Logstash并完成一个简单的日志收集功能
大风的博客
04-12 7215
下载和安装 下载logstash Logstash可以在以下地址下载 https://www.elastic.co/cn/downloads/logstash 需要注意在安装ELK环境的时候需要保证三者系统版本一致。假如需要下载历史版本可以在此下载 https://www.elastic.co/cn/downloads/past-releases#logstash ps.此网站访问可能会非常慢，...
logstash 收集 IIS 日志实践
weixin_30788619的博客
06-01 225
IIS日志示例： 2017-02-20 00:55:40 127.0.0.1 GET /MkWebAPI/swagger/ui/index - 80 - 127.0.0.1 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/49.0.2623.75+Safari/537.36 200 ...
logstash 安装服务
最新发布
06-17
<think>我们正在处理用户关于Logstash安装和配置的问题。用户要求提供在服务器上安装和配置Logstash的指南或教程。根据引用内容，我们可以整理出以下步骤：1.安装前准备：确保服务器已安装Java环境（特别是JDK1.8），因为Logstash是用Java编写的。2.安装Logstash：可以通过下载压缩包并解压，或者使用RPM包安装（对于CentOS/RHEL系统）。3.配置Logstash：创建配置文件（通常以.conf结尾），定义输入、过滤和输出插件。4.启动Logstash：可以通过命令行启动，也可以配置为系统服务（使用systemctl管理）。我们将按照这些步骤为用户提供详细的安装和配置指南。注意：引用中提到了Rsyslog的配置，但用户的问题集中在Logstash，因此我们主要关注Logstash的安装和配置。不过，如果用户需要收集syslog日志，我们会涉及到与Rsyslog的集成配置。步骤分解：一、安装Java环境引用[2]提到Logstash依赖JDK1.8，因此需要先安装JDK1.8并配置环境变量。二、安装Logstash有两种方法：方法1：通过压缩包安装（适用于所有Linux系统）方法2：通过RPM包安装（适用于CentOS/RHEL）三、配置Logstash创建配置文件，例如logstash.conf，配置输入、过滤和输出部分。四、启动Logstash根据安装方式选择启动方式：直接运行命令或使用systemctl。五、验证Logstash是否正常运行六、（可选）配置Logstash为系统服务（如果使用压缩包安装，可能需要手动配置服务）我们将详细说明每一步。注意：引用[4]中提到了使用pipelines.yml来配置多个管道（pipelines），这适用于需要同时运行多个配置的情况。但为了简单起见，我们先从单一配置开始。开始编写回答：</think>### Logstash 安装与配置指南 以下是 Logstash 在 Linux 服务器上的完整安装配置流程： #### **一、环境准备** 1. **安装 Java 环境** Logstash 依赖 Java 8 或 11（推荐 JDK 11）： ```bash sudo apt update sudo apt install openjdk-11-jdk # Debian/Ubuntu # 或 CentOS：sudo yum install java-11-openjdk ``` 验证安装：`java -version`[^2] 2. **下载 Logstash** 从官网获取安装包（以 7.17.0 为例）： ```bash wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.0.tar.gz tar -zxvf logstash-7.17.0.tar.gz cd logstash-7.17.0 ``` #### **二、基本配置** 1. **创建配置文件** 在 `config/` 目录新建 `logstash.conf`，示例配置接收 syslog 并输出到控制台： ```conf input { syslog { port => 5140 # 监听端口 } } output { stdout { codec => rubydebug # 调试模式输出到终端 } } ``` 2. **启动测试** ```bash bin/logstash -f config/logstash.conf ``` ✅ 出现 `Pipeline started successfully` 表示启动成功[^1]。 #### **三、生产环境配置** 1. **系统服务配置（Systemd）** 创建服务文件 `/etc/systemd/system/logstash.service`： ```ini [Unit] Description=Logstash After=network.target [Service] User=root Group=root ExecStart=/path/to/logstash/bin/logstash -f /path/to/logstash/config/logstash.conf Restart=always [Install] WantedBy=multi-user.target ``` 启用服务： ```bash sudo systemctl daemon-reload sudo systemctl start logstash sudo systemctl enable logstash # 开机自启[^1] ``` 2. **多管道配置（可选）** 修改 `config/pipelines.yml` 支持多个配置文件： ```yaml - pipeline.id: main path.config: "/etc/logstash/conf.d/*.conf" # 加载所有.conf文件 pipeline.workers: 4 ``` #### **四、集成 Rsyslog（日志收集）** 1. **配置 Rsyslog** 编辑 `/etc/rsyslog.conf`，转发日志到 Logstash： ```conf *.* @@localhost:5140 # @@表示TCP协议 ``` 重启 Rsyslog：`sudo systemctl restart rsyslog`[^1] 2. **Logstash 过滤器示例** 解析 syslog 并输出到 Elasticsearch： ```conf filter { grok { match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:host} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:msg}" } } } output { elasticsearch { hosts => ["http://es-server:9200"] index => "syslog-%{+YYYY.MM.dd}" } } ``` > 💡 使用 Kibana 的 **Grok Debugger** 调试解析规则[^3]。 #### **五、验证与排查** - **检查日志**：`journalctl -u logstash` - **测试管道**：`bin/logstash -e 'input { stdin { } } output { stdout {} }'` - **端口检测**：`netstat -tuln | grep 5140` > ⚠️ **常见问题** > - 若出现 Java 内存错误，调整 `config/jvm.options` 中的 `-Xms` 和 `-Xmx` > - 配置文件语法检查：`bin/logstash -t -f config/logstash.conf`[^4]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值