系统文件和日志分析

1.概述
1）文件数据包括元信息与实际数据（类似文件属性），文件数据存储在“块”中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域叫做inode。因此一个文件必须占用一个inode，并且至少占用一个block

inode不包含文件名，文件名是存放在目录当中的，Linux系统中一切皆文件，因此目录也是一种文件。每个inode都有一个号码，操作系统用inode号码来识别不同的文件Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是对应关系，每个inode号码对应一个文件名。

所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码；通过inode号码，获取inode信息；根据inode信息， 看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block， 并读取数据。

硬盘最小存储单位叫“扇区”，每个扇区存储512字节

连续八个扇区组成一个“块”（block），一个“块”4k大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的

.inode的内容
1）inode包含文件的元信息

①文件的字节数

②所在块及块大小

③inode号

④文件拥有者的User ID

⑤文件的Group ID

⑥文件的读、写、执行权限

⑦文件的时间戳：

atime (accesstime) :（最后一次访问文件或目录的时间）

当使用这个文件的时候就会更新这个时间。

mtime (modification time) :（最后一次修改文件或目录内容的时间）

当修改文件的内容数据的时候，就会更新这个时间，而更改权限或者属性，mtime不会改变，这就是和ctime的区别。

ctime (status time) :（最后一次改变文件或目录属性的时间）

当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是createtime，更像是changetime,只有当更新文件的属性或者权限的时候才会更新这个时间，但是更改内容的话是不会更新这个时间。
查看某个文件的inode信息

stat 文件名

ls -i 文件名                ###查看inode号

 硬盘分区后的结构

文件名—>目录文件—>文件名与inode号的对应关系

元信息—>inode—>除了文件名以外的属性

实际数据—>块block—>文件内容

访问文件的简单流程

用户访问文件—>通过文件名找到inode号—>通过inode号获取inode信息并判断用户是否具有访问权限（有：获取文件数据所在的block，读取数据；无：拒绝访问，返回Permission denied）

 inode的大小

1）inode也会消耗硬盘空间

①每个inode的大小一般是128字节或256字节

2）格式化文件系统时确定inode的总数

3）使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

df -i

inode的特殊作用
1）由于inode号码与文件名分离，导致一些Unix/Liunx系统具有以下现象

①当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件

②移动或重命名文件时，只改变文件名，不影响inode号

③打开一个文件后，系统用过inode号码来识别该文件，不在考虑文件名

恢复误删除的文件

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统（ext4只能在centos6版本恢复）

①安装依赖包：

Ⅰ.e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm

Ⅱ.e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm

②配置、编译及安装

extundelete-0.2.4.tar.bz2

1.创建分区，格式化并挂载：

fdisk /dev/sdb

partprobe /dev/sdb mkfs.ext3 /dev/sdb1

mkdir /cx

mount /dev/sdb1 /cx

df -hT

2.安装依赖包：

yum -y install e2fsprogs-libs e2fsprogs-devel

3.下载解压并编译安装extundelete：

cd /opt

将文件extundelete拖入下载

ls

tar -jxvf extundelete-0.2.4.tar.bz2

ls

cd extundelete-0.2.4/

./configure --prefix=/usr/local/extundelete && make && make install

ln -s /usr/local/extundelete/bin/* /usr/bin/

4.模拟删除并执行恢复操作：

cd /data
echo a > a
echo b > b
echo c > c
echo d > d
ls
###查看文件系统/devsdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录
extundelete /dev/sdc1 --inode 2
rm -rf a b
extundelete /dev/sdc1 --inode 2
cd ~
###文件误删后尽快解除挂载，防止被新数据覆盖，导致恢复不了
umount /data
###恢复/dev/sdc1文件系统下的所有内容
extundelete /dev/sdc1 --restore-all 
###在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复得文件
ls RECOVERED_FILES/
cat RECOVERED_FILES/a RECOVERED_FILES/b

XFS文件系统类型的文件恢复

格式：xfsdump -f 备份存放位置 要备份的路径或设备文件

格式：xfsrestore -f 恢复文件的位置 存放恢复后文件的位置

xfsdump备份级别：0表示完全备份（默认）；1-9表示增量备份

xfsdump使用限制：

1. 只能备份已挂载的文件系统
2. 必须使用root权限才能操作
3. 只能备份XFS文件系统
4. 备份后的数据只能让xfsrestore解析
5. 不能备份两个具有相同UUID的文件系统（可用blkid命令查看）

###检查xfsdump 命令是否安装
rpm -qa | grep xfsdump
###没有安装则安装
yum install -y xfsdump
###使用fdisk创建分区/dev/sdc1，格式化xfs文件系统
fdisk /dev/sdc
partprobe /dev/sdc
mkfs.xfs [-f] /dev/sdc1
mkdir /data
mount /dev/sdc1 /data/
cd /data/
echo a > a
echo b > b
echo c > c
xfsdump -f /opt/dump_sdc1 /dev/sdc1 [-L dump_sdc1 -M /dev/sdc1]
cd /data/
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdc1 /data/

 CPIO命令备份和恢复数据

用于从归档文件中存入和读取文件中，也可以将文件或目录复制到归档包中

**归档包：**即文件库，其实就是 cpio 或 tar 格式的文件，该文件中包含其他文件以及一些相关信息（文件名、访问权限等）

格式：cpio -i[选项] < [文件或设备]

注意事项

①使用 cpio 备份数据时如果使用的是绝对路径，那么还原数据时会自动恢复到绝对路径下；同理，如果备份数据使用的是相对路径，那么数据会还原到相对路径下

②cpio 命令无法自行指定备份（或还原）的文件，需要目标文件（或目录）的完整路径才能成功读取，因此此命令常与 find 命令配合使用

③cpio 命令恢复数据时不会自动覆盖同名文件，也不会创建目录（直接解压到当前文件夹）

应用

find /cx xxx | cpio -o[选项] > [文件或设备]

cpio -i[vcdu] < [文件|设备]

find /boot -print | cpio -p /data

分析日志文件

1.日志的功能

1）用于记录系统、程序运行中发生的各种事件

2）通过阅读日志，有助于诊断和解决系统故障

2.日志文件的分类

1）内核及系统日志

①内核及系统日志由系统服务 rsyslog 统一管理，日志格式基本相似

②主配置文件为/etc/rsyslog.conf

2）用户日志

记录系统用户登录及退出系统的相关信息

3）程序日志

由各种应用程序独立管理的日志文件，记录格式不统一

4）日志保存位置

Linux 操作系统本身和大部分服务器程序的日志文件都默认放在目录/var/log/下

5）主要日志文件介绍

/var/log/messages：
记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息

/var/log/cron:
记录crond计划任务产生的事件信息

/var/log/dmesg:
记录Linux系统在引导过程中的各种事件信息

/var/log/maillog:
记录进入或发出系统的电子邮件活动

/var/log/secure：
记录用户认证相关的安全事件信息

/var/log/lastlog：
记录每个用户最近的登录事件。二进制格式

/var/log/wtmp：
记录每个用户登录、注销及系统启动和停机事件。二进制格式

/var/run/btmp：
记录失败的、错误的登录尝试及验证事件。二进制格式
注：/var/log/rpmpkgs：记录系统中安装的各rpm包列表信息

日志文件的管理

1）由系统服务rsyslog统一管理

①软件包：rsyslog-7.4.7-16.el7.x86_64

②主要程序：/sbin/rsyslogd

③配置文件：/etc/rsyslog.conf

#查看rsyslog.conf配置文件，规则配置格式：[设备.级别    动作]
vim /etc/rsyslog.conf
{*.info;mail.none;authpriv.none;cron.none         /var/log/messages}
###*.info示info等级及以上的所有等级的信息都写到对应的日志文件里
###mail.none表示某事件的信息不写到日志文件里（这里比如是邮件）

Linux系统内核日志消息的优先级别：（数字等级越小，优先级越高，消息越重要）

mail.info /var/log/maillog ：
比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/maillog中

mail.=info /var/log/maillog ：
明确指定日志级别为info，保存至/var/log/maillog

mail.!info /var/log/maillog ：
除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog

*.info /var/log/maillog ：
所有facility的info级别，保存至/var/log/maillog

mail. /var/log/maillog* ：
mail的所有日志级别信息，都保存至/var/log/maillog

mail.notice;news.info /var/log/maillog ：
mail的notice以上的日志级别和news的info以上的级别保存至/var/log/maillog

mail,news.crit -/var/log/maillog ：
mail和news的crit以上的日志级别保存/var/log/maillog中；“-”代表异步模式（同时进行，类似并行，同步模式即并发）

日志记录的一般格式

tail /var/log/messages

保存了用户登录、退出系统等相关信息

/var/log/lastlog：最近的用户登录事件

/var/log/wtmp：用户登录、注销及系统开、关机事件

/var/log/utmp：当前登录的每个用户的详细信息

/var/log/secure：与用户验证相关的安全性事件

分析工具：

users、who、w、last、lastb

last命令用于查询成功登录到系统的用户记录

lastb命令用于查询登录失败的用户记录

程序日志分析：
由相应的应用程序独立进行管理
(1)Web服务：/var/log/httpd

access_log #记录客户访问事件
error_log #记录错误事件
(2)代理服务：/var/log/squid

access.log
cache.log
(3)分析工具：

文本查看：
**grep、awk、sed**等文本过滤、检索、格式化编辑工具
**Webmin**管理套件中查看
Webalizer、Awstats等专用日志分析工具

日志管理策略
(1)及时做好备份和归档

(2)延长日志保存期限

fing /var/log/messages -mtime +30 -type -exec rm -rf {} \；

###通过find命令查找超过30以上没有修改过的日志文件进行删除，延长保存期限，就查找更早之前的，+60、+90

(3)控制日志访问权限：日志中可能会包含各类敏感信息，如账户、口令等

(4)集中管理日志：

将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删

journalctl日志管理工具：
日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息，Systemd统一管理所有Unit的启动日志，带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）

日志的配置文件是：/etc/systemd/journald.conf

journalctl [-r] #-r表示倒序，从尾部看(推荐)    查看所有日志（默认情况下，只保存本次启动的日志）

查看内核日志（不显示应用日志）：journalctl -k

查看系统本次启动的日志：journalctl -b [-0]

查看上一次启动的日志（需更改设置，如上次系统崩溃，需要查看日志时，就要看上一次的启动日志）：journalctl -b [-1]

显示尾部指定行数的日志（查看的是/var/log/messages的日志，但格式上有所调整，如主机名格式不一样而已）：journalctl -n 20 [-f]

#查看指定用户的日志
journalctl _UID=0  --since today
journalctl -xe
#-x 是目录(catalog)的意思，在报错的信息下会，附加解决问题的网址
#-e  pager-end 从末尾开始看    

#查看某个服务的日志
journalctl -u nginx.service [-f]
#查看指定进程的日志
journalctl _PID=1