共同学习日志文件

一、日志文件的功能及分类

功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

分类

• 内核及系统日志
  – 由系统服务rsyslog统一进行管理，日志格式基本相似
  – 主配置文件/etc/rsyslog.conf
• 用户日志
  – 记录系统用户登录及退出系统的相关信息
• 程序日志
  – 由各种应用程序独立管理的日志文件，记录格式不统一

二、主要日志文件介绍及级别

主要日志文件

存放系统日志和用户日志的地方：/var/log
程序日志是配置的单独的文件

日志	保存位置	介绍
内核及公共消息日志	/var/log/messages/	记录Linux内核消息及各种应用程序的公共日志，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息
计划任务日志	/var/log/cron	记录crond计划任务产生的事件信息
系统引导日志	/var/log/dmesg	记录Linux系统再引导过程中的各种事件
邮件系统日志	/var/log/maillog/	记录进入或发出系统的电子邮件获得
用户登录日志	/var/log/lastlog	记录每个用户最近的登录事件。
用户登录日志	/var/log/secure	记录用户认证相关的安全事件信息。
用户登录日志	/var/log/wtmp	记录每个用户登录、注销及系统启动和停机事件。
用户登录日志	/var/log/btmp	记录失败的、错误的登录尝试及验证事件
rmp安装日志	/var/log/rpmpkgs	记录系统中安装的各rpm包列表信息。

系统日志有系统服务rsyslog统一管理

• 软件包：rsyslog-7.4.7-16.el7.x86_64
• 主要程序：/sbin/rsyslogd
• 配置文件：/etc/rsyslog,conf

日志消息的级别：数字等级越小，优先级越高，信息越重要

级号	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况
1	ALERT	警告	必须马上采取措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的事件
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等
	NONE	没有优先级	不记录任何日志消息

日志记录的一般格式：

内核及系统日志文件中的每一行表示一条信息，每个信息由四个字段的固定格式组成：

• 时间标签：消息发出的日期和时间
• 主机名：生成消息的计算机的名字
• 子系统名称：发出消息的应用程序名称
• 消息：信息的具体内容

系统设备字段（子系统名）：
auto：用户认证时产生的日志
authpriv：ssh、ftp等登录信息的验证信息
daemon：一些守护进程产生的日志
ftp：FTP产生的日志
lpr：打印相关获得
mark：rsyslo服务内部的信息，时间标志
news：网络新闻传输协议（nntp)产生的消息
syslog：系统日志
uucp：unix-to-unix copy两个unix之间的相关通信
console：针对系统控制台的消息
cron：系统执行定时任务产生的日志
kern：系统内核日志
local0~local7：自定义程序使用
mail：邮件日志
user：用户进程

进入/etc/rsyslog.conf文件可以看到系统配置的日志文件

里面可以看到日志文件存放位置以及存放的级别
比如：
kern.* /dev/console ：就是kern的所有级别的日志级别消息，都保存在/dev/console文件里面
.Info：代表info级别往上的所有级别，包括指定级别本身
*：所有
.=info：明确指定日志级别info
.！info：除了指定的日志级别info，其余所有级别消息
*.info：所有设备的info级别
.*：所有的日志级别消息
mail.notice；news.info：mail的notice和news的info级别以上的消息
mail，news.info：mail和news的info以上的日志级别

三、用户和程序日志分析

用户日志

保存了用户登录、退出系统等相关信息

• /var/log/lastlog：最近的用户登录事件
• /var/log/wtmp：用户登录、注销及系统开、关机事件
• /var/run/utmp：当前登录的每个用户的详细信息
• /var/log/secure：与用户验证相关的安全性事件

分析工具

• users、who、w、last、lastb
• last命令用于查询成功登录到系统的用户记录
• lastb命令用于查询登录失败的用户记录

程序日志

由相应的应用程序独立进行管理

• web服务：/var/log/httpd/
  – access_log //记录客户访问事件
  – error_log //记录错误事件
• 代理服务：/var/log/squid
  – access.log、cache.log
• 分析工具
• 文本查看、grep过滤检索、webmin管理套件中查看
• wak、sed等文本过滤、格式化编辑工具
• webalizer、awstats等专用日志分析工具

四、日志管理策略

• 及时作好备份和归档（tar、xfsdump、cp等）
• 延长日志保存期限
  – 一些公司服务器设备数量少，无法使用太多的空间保存日志，那么就需要定期删除之前的日志（可以使用find 路径 -mtime +多少天 查找多少天以前的文件过滤出来，然后- -delete进行定期删除）
• 控制日志访问权限（改变文件的属主属组和权限）
  – 日志中可能会包含各类敏感信息，如账户口令等
• 集中管理日志
  – 将服务器的日志文件发到统一的日志文件服务器
  – 便于日志信息的统一收集、整理和分析
  – 杜绝日志信息的意外丢失、恶意篡改或删除

远程收集日志：
使用rsyslog来实现，rsyslog是一个c（客户端）/s（服务端）架构，通过套接字（IP端口）来进行监听记录工作，可以基于TCP和UDP工作，默认监听端口是514，只需要在MODULES（模块）中打开就行
举例：
发送服务器（产生日志的服务器）：客户端192.168.80.20
收集服务器（收集客户端的日志）：服务端192.168.80.30

• 先关闭客户端和服务端的防火墙、selinux

• 修改客户端配置文件、并启动服务（vim /etc/rsyslog.conf)

• 进入MODULES（模块）将下列四行前的注释取消掉
  $ModLoad imudp
  $UDPServerRun 514
  $ModLoad imtcp
  $InputTCPServerRun 514

• 进入RULES定义相关的规则
  
  #%timestamp% :时间戳
  #fromhost-ip%:接收的信息来自于哪个节点的IP
  #%hostname% :主机名
  #%syslogseverity-text%:日志等级
  #syslogtag8 :服务进程
  #8msg%:日志内容
  #接收方IP前面一个@表示TCP传输，两个@表示UDP传输

• 重启resyslog服务（systemctl restart resyslog)

• 修改服务端配置文件、并启动服务（vim /etc/rsyslog.conf)

• 将下面四行前的注释取消
  $ModLoad imudp
  $UDPServerRun 514
  $ModLoad imtcp
  $InputTCPServerRun 514

• 添加以下内容
  

• 重启resyslog服务（systemctl restart resyslog)

• 在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致（mkdir -p /data/log）

• 验证
  在客户端的终端命令行输入或重启一个服务 logger “hello world”
  在服务器端查看日志文件 tree /data/log