nginx日志文件分析以及添加接口响应耗时

access.log日志用处

统计站点访问ip来源、某个时间段的访问频率
查看访问最频的页面、Http响应状态码、接口性能
接口秒级访问量、分钟访问量、小时和天访问量
…
默认配置解析
#log_format main '$remote_addr - $remot{e}_{u}ser[$time_local] “KaTeX parse error: Expected 'EOF', got '#' at position 16: request" ' #̲ …status $bod{y}_{b}yte{s}_{s}ent"$http_referer” ’
# ‘“$htt{p}_{u}se{r}_{a}gent""$http_x_forwarded_for”’;
案例

122.70.148.18 - - [04/Aug/2020:14:46:48 +0800] “GET /user/api/v1/product/order/query_state?product_id=1&token=xdclasseyJhbGciOJE HTTP/1.1” 200 48 “https://xdclass.net/” “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36”
解析

$remote_addr 对应的是真实日志里的122.70.148.18，即客户端的IP。
​
$remot{e}_{u}ser对应的是第二个中杠“-”，没有远程用户，所以用“-”填充。［$time_local］对应的是[04/Aug/2020:14:46:48 +0800]。
​
“$request”对应的是"GET /user/api/v1/product/order/query_state?product_id=1&token=xdclasseyJhbGciOJE HTTP/1.1"。
​
$status对应的是200状态码，200表示正常访问。
​
$bod{y}_{b}yte{s}_{s}ent对应的是48字节，即响应body的大小。“$http_referer” 对应的是”https://xdclass.net/“，若是直接打开域名浏览的时，referer就会没有值，为”-“。
​
“$htt{p}_{u}se{r}_{a}gent”对应的是”Mozilla/5.0(Macintosh;IntelMacOSX10.12;rv:56.0)Gecko/20100101Firefox/56.0”。“$http_x_forwarded_for” 对应的是”-“或者空。

自定义日志格式，统计接口响应耗时

日志格式增加 $request_time

从接受用户请求的第一个字节到发送完响应数据的时间，即包括接收请求数据时间、程序响应时间、输出响应数据时间
​
$upstream_response_time：指从Nginx向后端建立连接开始到接受完数据然后关闭连接为止的时间
​
$request_time一般会比upstream_response_time大，因为用户网络较差，或者传递数据较大时，前者会耗时大很多

配置自定义日志格式

log_format main '$remote_addr - $remot{e}_{u}ser[$time_local] “KaTeX parse error: Double superscript at position 33: … '̲status $bod{y}_{b}yte{s}_{s}ent"$http_referer” ’
‘“$htt{p}_{u}se{r}_{a}gent""$http_x_forwarded_for” $request_time’;
​
​
server {
listen 80;
server_name aabbcc.com;
​
location / {
root /usr/local/nginx/html;
index xdclass.html;
}
#charset koi8-r;
#
access_log logs/host.access.log main;
}

统计耗时接口, 列出传输时间超过 2 秒的接口，显示前5条

cat time_temp.log|awk '($NF > 2){print KaTeX parse error: Expected 'EOF', got '}' at position 2: 7}̲'|sort -n|uniq …NF 表示最后一列, awk ‘{print $NF}’