前言
在内网应急响应、漏洞复现、蓝队溯源、内核漏洞调试场景中,很多安全工程师习惯于优先查看 /var/log、auditd、nginx 等应用层日志,却经常忽略内核层日志这条最底层的证据链。用户态日志很容易被攻击者篡改、清理,而内核日志由内核 printk 直接输出,记录硬件异常、驱动加载、内核模块插入、Oops、Panic、内存错误、函数调用轨迹等底层事件;尤其是针对内核 UAF、OOB、LKM rootkit、内核提权漏洞的攻击,攻击行为最终一定会在内核层面留下痕迹,很多时候应用日志干干净净,只有 dmesg、klog、ftrace 里面藏着入侵证据。
很多人混淆三者定位:dmesg 是读取内核环形缓冲区的工具,klog 是内核日志采集体系,ftrace 是内核动态追踪框架,三者不是同级别的日志文件。dmesg 适合快速查看系统启动、硬件报错、Oops 崩溃;klog 负责把环形缓冲区的日志持久化落盘,和 rsyslog、journald 联动;ftrace 属于动态追踪,可以实时抓取内核函数调用、系统调用、中断、内存分配行为,粒度远细于普通 printk 日志,也是排查隐蔽 rootkit、恶意内核模块、异常内核行为的利器。
在护网、应急场景下,经常遇到服务器莫名宕机、卡死、OOM、虚拟机宿主机 panic,或者怀疑已经有攻击者完成内核提权、植入 LKM 后门,常规审计日志找不到线索,这时候内核日志分析就是核心手段。同时在内核漏洞研究时,读懂 Oops 调用栈、利用 ftrace 追踪漏洞触发时的 SLUB 分配、kfree 流程,是复现和分析 EXP 的必备能力。
本文会由浅入深,梳理 Linux 内核日志体系架构,拆解 printk 日志级别、环形缓冲区原理;详解 dmesg 日志字段、Oops/Panic 崩溃日志逐行解读;讲解 klog、klogd、/dev/kmsg、journalctl -k 的采集持久化链路;深入 ftrace 框架原理、tracefs、function tracer、event trace 实战命令;同时结合安全场景,给出如何在内核日志中寻找入侵痕迹、LKM 加载异常、SMEP/SMAP 触发告警、KASAN 报错、恶意 syscall 序列,配套日志留存、pstore 崩溃日志、自动化检索脚本、取证注意事项。适合应急响应工程师、内核安全学习者、Linux 运维、蓝队研判人员阅读。
免责声明:本文所有内容仅用于授权环境下的安全应急、漏洞分析、安全加固,禁止用于未授权服务器探测、攻击行为。
一、Linux 内核日志整体架构:printk、环形缓冲区、klog 体系总览
用户态程序使用 printf、syslog 输出日志,而内核所有原生日志入口是 printk() 函数。printk 和用户态 printf 最大区别:它不依赖文件系统、不依赖用户态守护进程,在内核初始化早期、中断上下文、panic 崩溃阶段都可以正常输出日志,这也是内核崩溃时唯一还能工作的日志机制。
1.1 printk 日志级别与控制台打印规则
printk 支持 8 个日志级别,数字越小优先级越高:
#define KERN_EMERG "<0>" 系统不可用
#define KERN_ALERT "<1>" 需要立即处理
#define KERN_CRIT "<2>" 严重错误
#define KERN_ERR "<3>" 错误
#define KERN_WARNING "<4>" 警告
#define KERN_NOTICE "<5>" 注意信息
#define KERN_INFO "<6>" 普通信息
#define KERN_DEBUG "<7>" 调试信息
内核全局参数 console_loglevel 控制哪些级别的日志直接打印到控制台;printk 会先把消息写入内核环形缓冲区(Kernel Ring Buffer),环形缓冲区是一块预分配的物理内存,大小由内核编译参数 CONFIG_LOG_BUF_SHIFT 控制,默认常见为 1MB~16MB。
环形缓冲区是循环覆盖模型:缓冲区写满之后,新日志会覆盖最老日志。这是内核日志最大痛点:服务器长时间运行、日志量大时,早期的启动日志、很久以前的 Oops 记录会直接丢失。这也是为什么应急响应时,发现异常第一时间导出 dmesg,而不是等第二天再排查。
环形缓冲区对外暴露的标准入口:/dev/kmsg,所有 klogd、rsyslog imklog 模块、journald,本质都是持续读取 /dev/kmsg 来消费内核日志。dmesg 命令底层就是读取这个环形缓冲区。
1.2 dmesg、klog、ftrace 三者定位区分(重点,新手极易混淆)
很多初学者会把三者放在同一维度对比,这里先明确边界:
- dmesg:是一个用户态工具,作用读取内核环形缓冲区(/dev/kmsg),格式化输出 printk 产生的日志;它不是一种日志类型。我们口语里说的 “dmesg 日志”,指环形缓冲区里 printk 日志。
- klog(klogd):内核日志采集守护进程 / 采集链路,负责持续读取
/dev/kmsg,转发给 syslog 服务,落地持久化日志文件(/var/log/messages、/var/log/kern.log)。在 systemd 系统中,journald 原生接管 klog 采集,传统独立 klogd 已经慢慢淡出主流发行版。 - ftrace:内核内置追踪框架,独立于 printk 环形缓冲区体系,存储在 tracefs 文件系统
/sys/kernel/tracing,专门追踪内核函数调用、系统调用、调度、中断、kmem 分配、事件探针;ftrace 日志默认不在 dmesg 里出现,需要单独开启追踪器,它属于动态追踪,不是常规 printk 日志。
简单一句话:
- printk → 内核环形缓冲区 → /dev/kmsg → dmesg 查看 /klog/journald 持久化(普通内核日志)
- ftrace:独立追踪缓冲区,tracefs 管理,用于细粒度函数、事件追踪
1.3 日志落盘链路,不同发行版差异
传统 SysVinit:klogd 读取 /dev/kmsg,转发给 syslogd/rsyslogd,写入 /var/log/messages、/var/log/kern.log
现代 systemd(CentOS7+、Ubuntu16+):journald 内置读取 /dev/kmsg,内核日志存入 journal 数据库,使用 journalctl -k 查看;rsyslog 可以作为二次消费,把 journal 的内核日志再转存到文本日志。
环形缓冲区是内存临时存储,机器重启、断电后,环形缓冲区原生日志全部丢失。只有被 klog/journald 提前持久化到磁盘的日志,重启后才能保留。而 panic 瞬间,文件系统 IO 可能已经卡死,守护进程来不及写入磁盘,这时候普通 klog 日志也会丢失,这就需要 pstore(persistent store)机制,把崩溃 Oops/Panic 日志写入 NVRAM、flash 分区,重启之后可以读取,是崩溃取证的关键方案。
1.4 查看内核日志基础命令汇总
# 读取环形缓冲区,-T 转换成可读时间戳
dmesg -T
# 只看错误、警告级别
dmesg -T --level=err,warn
# 清空环形缓冲区(取证场景严禁随意执行)
dmesg -c
# systemd 查看持久化内核日志,等价dmesg持久版本
journalctl -k
# 实时跟随内核日志,类似tail -f
journalctl -kf
# 传统rsyslog持久文件
tail -f /var/log/messages
tail -f /var/log/kern.log
二、dmesg 日志逐字段解析:常规日志、Oops、Panic、Tainted 内核
dmesg 输出的每一行标准格式:[时间戳] 日志内容,方括号内是从内核启动到打印这条日志的秒数(uptime 时间),不是系统墙上时间。dmesg -T 会根据系统当前时钟,把 uptime 估算转换成本地时间,注意:如果系统时钟被攻击者篡改,-T 输出的时间是不可信的,原始方括号内的 uptime 是内核单调时钟,无法被用户态篡改,取证优先以原始 uptime 为准。
2.1 普通 dmesg 日志常见事件含义(安全视角)
安全工程师看 dmesg,不要只盯着崩溃报错,下面这些常规事件都和入侵相关:
- 内核模块加载 / 卸载:
module: xxx loaded、insmod、rmmod。LKM rootkit、内核后门、恶意驱动,都会触发模块加载日志;正常运维有记录,非预期模块加载是高危告警。 - 设备挂载、块设备、loop 设备:恶意挂载镜像、隐藏文件系统。
- USB、外接设备热插拔:内网服务器异常 USB 接入。
- OOM Killer:
Out of memory: Killed process xxx。CC 攻击、恶意内存占用、EXP 堆喷射大量分配内存,都会触发 OOM,很多内核 EXP 利用前都会堆喷,OOM 是攻击伴随特征。 - 硬件报错:内存 ECC 报错、磁盘 IO 超时,区分是硬件故障还是攻击导致系统不稳定。
- KASAN 报错:
BUG: KASAN: use-after-free in xxx、out-of-bounds access,内核漏洞触发时 KASAN 直接打印内存错误日志,是漏洞触发最直接证据。 - SMEP/SMAP/CFI 触发异常:
SMEP violation、SMAP violation,说明存在尝试在内核态执行用户代码、非法访问用户内存的行为,几乎都是内核 EXP 尝试绕过保护机制。 - taint 内核标记:
Tainted: G O 5.4.0-xxx,内核被污染标记,是应急里非常重要的指标。
2.2 Tainted 内核(内核污染标记)详解
内核打印 Oops、模块加载日志末尾经常附带 Tainted 标记,每一个字母代表一种污染原因,官方文档定义了全部标记位Linux Kern…:
- G:所有模块使用 GPL 协议;P:非 GPL 协议模块加载(私有驱动、第三方模块,恶意 LKM 大多属于 P 标记)
- O:Oops 或者 panic 发生过;E:外部模块;F:模块强制加载;U:用户态触发污染
一旦内核出现 Tainted 标记,代表内核运行状态不再干净,存在非官方模块、崩溃历史。应急响应看到 Tainted: P,第一时间核查加载的内核模块列表lsmod,排查未知恶意模块。
很多 LKM 后门会尝试抹除 lsmod 痕迹,但很难抹除早期 dmesg 里面的 module loaded 日志,如果日志还没有被环形缓冲区覆盖,dmesg 可以抓到加载记录。
2.3 Oops 日志完整拆解(内核漏洞、崩溃分析核心)
Oops 不是 Panic:Oops 代表内核遇到非法内存访问、异常指令,打印错误堆栈之后,默认可以继续运行(取决于 panic_on_oops 参数);Panic 代表内核判定无法继续运行,直接停机、重启。/proc/sys/kernel/panic_on_oops 设置为 1 时,Oops 会升级为 panic 重启。
一份典型 Oops 样例:
[12345.678901] BUG: unable to handle page fault for address: 0000000000000010
[12345.678905] #PF: supervisor write access in kernel mode
[12345.678907] #PF: error_code(0x0002) - not-present page
[12345.678910] PGD 800000032f804067 P4D 800000032f804067 PUD 32f79067 PMD 0
[12345.678914] Oops: 0002 [#1] SMP PTI
[12345.678917] CPU: 1 PID: 1234 Comm: exp Tainted: P O 5.4.0-109-generic
[12345.678920] RIP: 0010:target_func+0x2a/0x100
[12345.678924] RSP: 0018:ffff9239c0c9be08 EFLAGS: 00010246
[12345.678927] RAX: 0000000000000000 RBX: ffff88810abc1200 RCX: 0000000000000000
[12345.678930] RDX: 0000000000000010 RSI: ffff88810abc1200 RDI: ffff88810abc1200
[12345.678933] RBP: ffff9239c0c9be20 R08: 0000000000000000 R09: 0000000000000000
[12345.678936] R10: 0000000000000000 R11: 0000000000000246 R12: 0000000000000000
[12345.678939] R13: ffff88810abc1200 R14: ffff9239c0c9bf00 R15: 0000000000000000
[12345.678943] FS: 00007f1234567890(0000) GS:ffff88842fc80000(0000) knlGS:0000000000000000
[12345.678946] CS: 0010 DS: 0000 ES: 0000 CR0: 80050033
[12345.678949] CR2: 0000000000000010 CR3: 000000032100a000 CR4: 00000000000606e0
[12345.678952] Call Trace:
[12345.678957] func_a+0x44/0x80
[12345.678961] syscall_entry+0x123/0x200
[12345.678965] Code: ...
逐字段解读:
unable to handle page fault for address: 000...0010:CR2 寄存器值,触发缺页故障的内存地址,0x10 大概率是空指针偏移访问;#PF: supervisor write access in kernel mode:缺页类型,supervisor 代表内核态访问,write 是写操作,说明漏洞是内核态写非法地址;如果是 read 就是读非法地址;Oops:0002 [#1] SMP PTI:Oops 错误码,#1 代表这是本次开机第 1 次 Oops;PTI 代表 KPTI 开启;CPU:1 PID:1234 Comm:exp:重点!哪个进程、PID 触发内核崩溃。如果 Comm 是攻击者上传的 exp、恶意程序名字,直接锁定攻击进程;RIP:故障发生时 CPU 指令指针,也就是出错函数 + 偏移;Call Trace:调用栈,整个 Oops 里最核心的部分,函数调用链路,用来定位漏洞发生的代码路径;Code:出错位置附近机器码,配合内核符号、objdump 反汇编定位指令。
Oops 日志解读的安全价值:
- 红队:拿到 Oops 堆栈,定位漏洞函数、判断漏洞类型(UAF/OOB/ 空指针解引用),辅助 EXP 调试;
- 蓝队应急:根据 Comm/PID、调用栈判断是不是内核提权 EXP 触发崩溃,区分业务 bug 和攻击行为。
注意:开启 KASLR 之后,原始 RIP 是虚拟地址;安装内核 dbg 符号包(linux-image-xxx-dbg)之后,可以使用
addr2line、gdb vmlinux把地址翻译为源码行号。
2.4 Panic 日志解读
Panic 日志开头直接标记 Kernel panic - not syncing,内核已经放弃继续运行。Panic 分为两种:主动 panic(代码调用 panic ())、Oops 升级 panic(panic_on_oops=1)。
Panic 之后,系统默认会停滞或者自动重启(/proc/sys/kernel/panic 控制重启倒计时,0 = 永不重启)。
最大取证难点:panic 瞬间 IO 阻塞,journald、rsyslog 来不及写入磁盘,环形缓冲区日志随着重启清空。这就是 pstore 的作用:panic/Oops 输出同时写入 pstore 持久存储,重启后在 /sys/fs/pstore/ 读取上次崩溃日志。
2.5 pstore 崩溃日志留存方案(应急必备)
pstore 是内核持久化存储后端,依赖平台 NVRAM、ACPI ERST、Ramoops,把 panic、oops、kmsg 副本保存在断电不易丢失的存储区域Linux Kern…。
启用后,重启查看:
ls /sys/fs/pstore/
cat /sys/fs/pstore/dmesg-ramoops-0
云虚拟机很多虚拟化平台不支持 pstore;物理服务器、嵌入式机器支持较好。应急加固建议,在支持的机器上开启 pstore+ramoops,防止崩溃日志丢失。
三、klog 完整体系:/dev/kmsg、klogd、journald、日志持久化与丢失风险
很多人以为 dmesg 就是全部内核日志,忽略 klog 持久化链路带来的差异:环形缓冲区是易失的,klog 体系决定日志能不能留存、留存多久、能不能被检索。
3.1 /dev/kmsg 接口详解
/dev/kmsg 是字符设备,是内核日志标准流式接口。用户态进程打开这个文件,read () 会阻塞,内核每产生一条 printk 日志,就推送给所有读取者。
dmesg 是一次性读取当前环形缓冲区快照;journald、rsyslog imklog 模块是持续打开 /dev/kmsg 流式消费。
# 直接流式读取内核日志,等价底层klog消费方式
cat /dev/kmsg
每条从 /dev/kmsg 读出的消息,自带元数据:日志级别、子系统、序列号、时间戳,比 dmesg 格式化输出原始信息更全,SIEM 接入内核日志推荐直接采集 /dev/kmsg 原始流。
3.2 klogd 的演进
老 Linux 独立守护进程 klogd,专门负责读取 /dev/kmsg,转发给 syslog;systemd 普及之后,klogd 已经被 journald 内置能力替代,大部分新版发行版不再自带独立 klogd。rsyslog 的 imklog 模块是传统 klog 功能的替代插件。
klog 链路典型故障(应急高频踩坑):
- 环形缓冲区过小,日志覆盖,还没被 klog 消费就丢失;
- journald 日志存储上限(SystemMaxUse)配置过小,旧内核日志被 journal 自动轮转删除;
- 服务器高负载,printk 日志爆发(攻击触发大量 Oops、KASAN 报错),消费速度跟不上内核打印速度,丢日志;
- 攻击者停止 rsyslog/journald 服务,删除磁盘上持久化日志;但是只要机器没有重启,/dev/kmsg 和 dmesg 环形缓冲区内容依然存在,这是应急关键:攻击者删磁盘日志,很难清理内存里的环形缓冲区。
3.3 内核日志采集与 SIEM 对接最佳实践
安全团队要长期留存内核崩溃、模块加载、KASAN 告警日志,推荐方案:
- 增大内核环形缓冲区:内核启动参数
log_buf_len=16M; - journald 调大存储配额,或者 rsyslog 把 kern 日志单独落地独立文件;
- 使用 agent(filebeat)采集
/dev/kmsg原始流,发送到 ELK/SIEM; - 增加检索规则:匹配 Oops、Panic、KASAN、module load、SMEP violation、Tainted P 等关键词;
- 关键服务器开启 pstore ramoops 兜底。
四、ftrace 深度解析:原理、tracefs、追踪器,安全场景定位入侵痕迹
dmesg 的 printk 日志是 “静态打印”,代码里写死 printk 才会输出;ftrace 是动态插桩追踪框架,不需要重新编译内核、不需要修改源码,运行时在内核函数入口插入探针,记录函数调用、参数、返回、耗时、调用栈,粒度远高于普通内核日志Linux Kern…。
ftrace 最早是性能调试工具,现在已经是内核安全、恶意行为排查、漏洞调试的利器;同时注意:ftrace 本身是高权限调试接口,攻击者拿到 root 权限后,也可以利用 ftrace 做 rootkit、隐藏进程、hook 内核函数,所以生产环境要限制 /sys/kernel/tracing 访问权限。
4.1 ftrace 底层原理:mcount 插桩
内核编译开启 CONFIG_FTRACE 时,每个内核函数开头会插入 mcount 占位指令。开启追踪时,内核动态把 mcount 指令替换成跳转指令,跳转到 ftrace 回调函数,记录调用信息;关闭追踪,指令恢复,开销可控。
ftrace 不依赖 printk,追踪数据写入独立的 trace ring buffer,挂载在 tracefs,默认挂载点 /sys/kernel/tracing,老版本部分系统挂载到 /debug/tracing(debugfs)。
# 检查是否挂载tracefs
mount | grep tracefs
# 手动挂载
mount -t tracefs tracefs /sys/kernel/tracing
cd /sys/kernel/tracing
ls
目录里核心控制文件:
- current_tracer:选择追踪器(function、function_graph、nop)
- trace:追踪结果文本输出
- trace_pipe:流式读取追踪数据(不覆盖,推荐实时采集)
- set_ftrace_filter:白名单,只追踪指定函数(最常用,过滤海量调用)
- set_ftrace_notrace:黑名单,排除函数
- events/:事件追踪子系统(syscalls、kmem、module 事件)
4.2 常用追踪器实战命令
4.2.1 function 追踪器:追踪指定内核函数调用
场景:排查攻击者调用 init_module(加载 LKM 模块)、kfree、kmalloc、commit_creds 等高风险函数调用
cd /sys/kernel/tracing
echo nop > current_tracer # 先关闭
echo init_module > set_ftrace_filter # 只追踪init_module,内核模块加载入口
echo function > current_tracer
cat trace_pipe
开启之后,任何进程调用 init_module 系统调用加载内核模块,ftrace 都会打印 PID、Comm、调用栈。哪怕 LKM 后门隐藏 dmesg 模块日志,只要加载时 ftrace 正在追踪 init_module,就能抓到调用证据。
4.2.2 function_graph 追踪器:带调用进出、耗时,适合跟踪完整调用流程
适合漏洞调试,看 UAF 漏洞触发时 kmalloc/kfree 调用顺序,EXP 堆喷分配流程。
4.2.3 Event Trace 事件追踪(安全场景最推荐,开销更低)
ftrace 的 event 子系统是预定义内核事件点:系统调用事件、模块加载事件、内存分配事件、OOM 事件,不需要追踪全量函数,开销小很多。
示例:开启模块加载 / 卸载事件追踪
cd /sys/kernel/tracing/events/module
echo 1 > enable
cat trace_pipe
示例:追踪所有 sys_execve 系统调用,监控恶意程序执行
cd /sys/kernel/tracing/events/syscalls/sys_enter_execve
echo 1 > enable
syscall trace 是蓝队非常好用的能力,配合 ftrace,可以在内核层捕获系统调用,不受用户态 auditd 被篡改影响(前提攻击者没有拿到 root 关闭 ftrace)。
4.3 ftrace 在安全场景的两大方向:蓝队狩猎 + 漏洞调试
蓝队狩猎、入侵痕迹排查场景
- 监控
init_module、delete_module,捕获 LKM 加载卸载; - 监控
commit_creds、prepare_kernel_cred,这两个函数是内核提权 EXP 最常用的函数,一旦被非预期调用,高度怀疑内核提权攻击; - 监控
kmalloc/kfree序列,观察异常高频分配释放(堆喷 EXP 特征); - 监控文件系统、进程创建系统调用,作为 auditd 的底层兜底;
限制:ftrace 需要 root 权限开启追踪,如果攻击者已经拿到 root,可以关闭追踪、清空 trace 缓冲区。适合在攻击发生前提前部署作为检测探针,或者攻击还没拿到最高权限时取证。
内核漏洞调试场景(红队 / 漏洞分析)
复现 UAF、OOB 漏洞时,开启 ftrace 追踪目标函数,观察:
- 什么时候 kmalloc 分配对象
- 什么时候 kfree 释放
- 释放之后什么时候再次访问(Use-After-Free 触发时刻)
配合 KASAN 报错,还原漏洞完整时序。
4.4 ftrace 安全风险:攻击者滥用 ftrace
ftrace 是强大的内核钩子能力,root 权限下可以注册 ftrace_ops 回调,hook 任意内核函数,实现隐藏进程、隐藏端口、篡改函数返回值,是现代内核 rootkit 常用技术。
加固建议:生产环境限制 /sys/kernel/tracing 权限,非必要场景内核编译关闭 CONFIG_FTRACE;护网环境如果必须开启,监控 current_tracer、set_ftrace_filter 修改行为。
五、实战:在内核日志里识别入侵痕迹,区分正常报错和攻击特征
前面是工具原理,本章给出应急研判 SOP,拿到一台可疑服务器,按顺序检索 dmesg、klog 持久日志、ftrace 历史记录,寻找入侵证据。
5.1 高危关键词检索清单(dmesg /journalctl -k)
# 批量检索高危特征
journalctl -k | grep -E "KASAN: use-after-free|KASAN: out-of-bounds|init_module|module.*loaded|SMEP violation|SMAP violation|Oops|Kernel panic|Tainted: P|Out of memory"
逐个风险解读:
- KASAN use-after-free /out-of-bounds:内核内存破坏漏洞被触发,大概率是 EXP 测试;
- SMEP/SMAP violation:攻击者尝试在内核态执行用户代码、非法访问用户内存,典型 EXP 绕过保护动作;
- module loaded、init_module:新内核模块加载,核对 lsmod,陌生模块重点溯源;
- Tainted: P:非 GPL 外部模块加载;
- 短时间连续大量 OOM:堆喷射 EXP 特征,攻击者大量分配内核内存做对象复用;
- 连续 Oops 报错:EXP 反复触发崩溃,攻击者在调试内核漏洞 EXP。
5.2 区分:业务 bug VS 攻击触发 Oops
研判区分维度:
- Comm 进程名:Oops 的 Comm 是业务程序(nginx、mysql)大概率业务 bug;Comm 是陌生文件名、exp、payload、随机字符串,高度可疑攻击;
- 调用栈:崩溃路径是驱动、文件系统常规逻辑,还是和 cred、msg_msg、xattr 等 EXP 常用对象相关函数;
- 时序:Oops 爆发时间点是否和外网扫描、异常登录时间对齐;
- 配套痕迹:是否同时出现大量 OOM、模块加载、陌生进程;
- 重复触发:同一个 Oops 短时间反复触发,很可能攻击者在反复跑 EXP。
5.3 LKM 后门痕迹研判难点
很多 LKM rootkit 会 hook lsmod、/proc/modules 隐藏模块,但是:
- 如果模块加载那一刻 dmesg 环形缓冲区还没有被覆盖,
module: xxx loaded记录会保留; - 如果提前部署 ftrace 监控 init_module,可以捕获加载动作;
- Tainted 标记一旦打上,只要没有重启,Tainted 标记持续存在,是隐藏模块的间接信号。
5.4 取证顺序(应急黄金顺序,不要搞反)
- 第一时间导出当前 dmesg 原始内容(
dmesg > dmesg.evidence),不要执行 dmesg -c; - 导出 journalctl -k 持久内核日志;
- 读取 pstore 目录崩溃记录;
- 导出 lsmod、/proc/modules、syscall、进程快照;
- 再去查看 ftrace trace 缓冲区(如果开启追踪);
- 再抓取内存镜像(volatility 取证);
优先抓内存里环形缓冲区证据,因为重启之后全部丢失。
六、配套脚本、自动化检索、日志留存方案
6.1 简易内核日志告警脚本(python,供 SIEM / 定时任务调用)
import subprocess
import re
risk_rules = [
r"KASAN: use-after-free",
r"KASAN: out-of-bounds",
r"SMEP violation",
r"SMAP violation",
r"Tainted:.*P",
r"init_module",
r"Kernel panic",
r"Oops:"
]
def get_kernel_log():
res = subprocess.run(["journalctl","-k","--since","-10m"], capture_output=True, text=True)
return res.stdout
def scan():
log = get_kernel_log()
hit = []
for rule in risk_rules:
if re.search(rule, log):
hit.append(rule)
if hit:
print(f"[ALERT] 内核日志命中风险规则:{hit}")
print(log)
else:
print("[OK] 无风险特征")
if __name__ == "__main__":
scan()
脚本逻辑:抓取最近 10 分钟内核日志,匹配攻击特征,可接入 zabbix、prometheus 告警。
6.2 内核日志长期归档建议
- 所有服务器统一采集
/dev/kmsg原始流,存入 ELK; - 建立索引字段:uptime 时间戳、日志级别、PID、Comm、tainted 标记;
- 增加告警:KASAN 报错、SMEP/SMAP 违规、非预期模块加载、短时间多次 Oops;
- 保留原始日志至少 90 天,护网环境延长至 180 天;
- 禁止业务程序、运维脚本执行
dmesg -c清空环形缓冲区。
七、常见踩坑、误区总结
误区 1:dmesg 日志是永久保存的。错!环形缓冲区是循环覆盖,重启清空,高负载下几天前日志直接丢失,必须依赖 klog/journald 持久化。
误区 2:看到 Oops = 攻击。错,驱动 bug、硬件故障、内存损坏都会触发 Oops,必须结合 Comm、时序、配套痕迹综合研判。
误区 3:ftrace 日志会出现在 dmesg 里面。错,ftrace 是独立追踪缓冲区,和 printk 环形缓冲区两套体系。
误区 4:攻击者删了 /var/log/messages 就拿不到内核证据。错,只要机器不重启,/dev/kmsg 和 dmesg 内存环形缓冲区依然保留近期日志,这是应急最重要的兜底证据。
误区 5:Tainted 标记一定是恶意模块。错,部分官方闭源驱动(显卡、raid 卡)也会打上 P 标记,需要白名单基线。
误区 6:开启 ftrace 追踪会极大拖慢系统。错,只要用 set_ftrace_filter 精准过滤少量函数,开销很低;全量 function 追踪才会产生巨大性能压力。
八、总结
Linux 内核日志体系分为两套独立体系:printk 环形缓冲区体系(dmesg/klog)和 ftrace 动态追踪体系,二者定位互补。
dmesg 是读取内核环形缓冲区的工具,环形缓冲区接收所有 printk 输出,记录启动信息、硬件报错、Oops、Panic、KASAN 内存错误、内核模块加载事件;klog、journald、rsyslog 负责把环形缓冲区的易失日志持久化到磁盘,解决重启丢失问题;pstore ramoops 是 panic 崩溃场景的兜底持久方案。Oops 日志里的 PID、Comm、Call Trace、CR2 地址是定位崩溃根源、区分业务故障和内核攻击的核心字段,Tainted 污染标记是识别外部内核模块的关键信号。
ftrace 是内核原生动态追踪框架,基于 mcount 运行时插桩,不依赖 printk,可以精准追踪内核函数调用、系统调用、内存分配、模块加载事件。在蓝队狩猎中,ftrace 可以作为底层探针监控 init_module、commit_creds 等高风险函数,捕获 LKM 加载、内核提权 EXP 行为;在内核漏洞调试场景,ftrace 还原 kmalloc/kfree 时序,辅助复现 UAF、OOB 漏洞。同时 ftrace 权限风险很高,root 权限可用来开发内核 rootkit,生产环境需要做好权限管控。
对于安全工程师来说,应用层日志可以被篡改、删除,但是内核层日志是操作系统最底层的证据来源。一套完整的内核日志运营流程:增大环形缓冲区、持久化采集、SIEM 规则匹配告警、关键服务器部署 pstore 兜底、必要时提前部署 ftrace 探针;应急响应时优先导出内存中 dmesg 原始日志,再解析持久化 klog 日志,结合 Oops 调用栈、KASAN 报错、Tainted 标记、模块加载事件综合研判,识别内核提权、LKM 后门、漏洞 EXP 攻击痕迹。
读懂内核日志,是区分普通服务器故障和内核层入侵的核心能力,也是内核漏洞分析、护网蓝队研判必不可少的基本功。
最后
关于网络安全技术储备
学好网络安全不论是就业还是做副业赚钱都不错,但要学会网络安全还是要有一个学习规划。最后大家分享一份全套的网络安全学习资料,给那些想学习网络安全的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门网络安全是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:网安成长学习路线图、SRC&黑客文档、护网行动、黑客必读书单、面试题、学习视频等教程。带你从零基础系统性的学好网络安全!
需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉1.成长路线图&学习规划👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

👉2.网安入门到进阶视频教程👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,其中一共有21个章节,每个章节都是当前板块的精华浓缩。(全套教程文末领取哈)

👉3.SRC&黑客文档👈
大家最喜欢也是最关心的SRC技术文籍&黑客技术也有收录
SRC技术文籍:

黑客资料由于是敏感资源,这里不能直接展示哦!(全套教程文末领取哈)
👉4.护网行动资料👈
其中关于HW护网行动,也准备了对应的资料,这些内容可相当于比赛的金手指!

👉5.黑客必读书单👈
随着互联网技术的飞速发展,网络安全已经成为了当今科技领域的一大热点。这些SQL注入、CCNA、Web渗透、Linux服务器等,以其强大的语言理解和防御能力,正在守护着我们网络世界。 那以下这些PDF籍就是非常不错的学习资源。

👉6.网络安全岗面试题合集👈
当你自学到这里,你就要开始思考找工作的事情了,而工作绕不开的就是真题和面试题。

这份完整版的网络安全学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

本文系统解析Linux内核日志体系,涵盖printk环形缓冲区、dmesg日志字段(Oops/Panic/Tainted)、klog持久化链路(/dev/kmsg/journald)及ftrace动态追踪框架。重点阐述如何通过CR2寄存器、调用栈、KASAN报错、SMEP/SMAP违规、module loaded等关键线索识别内核提权、LKM后门和漏洞EXP攻击痕迹,并强调pstore崩溃留存、取证黄金顺序与SIEM对接实践。
1790

被折叠的 条评论
为什么被折叠?



