【法律声明】 本文仅用于安全研究、WAF 日志审计、蓝队应急溯源教学。文中解析脚本、日志分析方法、告警过滤规则,仅允许在拥有授权的业务环境、靶场环境使用;禁止对未授权站点日志进行采集、解析、批量告警挖掘。违规使用带来的全部法律风险由使用者自行承担。
前言
ModSecurity 很多使用者都会陷入一个误区:把 WAF 告警日志当成 “报警弹窗”,告警来了就看一眼规则 ID,误报就直接加 ctl:ruleRemoveById 删掉规则,命中高危就直接拉黑 IP。这套操作简单粗暴,但它浪费了 ModSecurity 审计日志里最有价值的东西:完整事务上下文、载荷原始内容、规则匹配链路、请求与响应的全链路细节。
ModSecurity 的日志体系分为两类:一类是 Nginx/Apache 的 error.log 短告警日志,只记录简要命中信息;另一类是完整的审计日志 audit log,也就是我们本文重点拆解的对象。很多人配置 ModSecurity 时直接关闭审计日志,或者只开启匹配时记录,日志部件只保留 AHK,丢失请求体、响应体、匹配详情,等到真正发生入侵、被绕过、发生误报风暴的时候,手里没有任何材料去还原攻击链路。
在真实应急场景中,审计日志是蓝队手里最重要的证据源:我们可以从日志中还原攻击者的探测路径、载荷变形手法、绕过尝试、参数污染、编码混淆;可以区分误报、扫描、真实攻击、攻击成功;还可以基于日志数据编写过滤脚本,自动降噪、归类、导出报表,解决生产环境告警风暴的痛点。
本文从底层日志配置、原生审计日志部件、JSON 审计日志全字段解析入手,一步步讲解如何从一堆文本日志里还原完整攻击行为,梳理误报判定思路,最后落地一套可直接上线的 Python 告警过滤、降噪、归类脚本,同时配套日志接入 ELK、SIEM 的落地经验。全文覆盖 ModSecurity 2.x 和 ModSecurity 3.x 的日志差异,区分 Native 原生文本格式与 JSON 格式,解决绝大多数运维、安全工程师在日志审计时踩过的坑:字段看不懂、载荷乱码、事务无法关联、误报无法溯源、日志量爆炸无法自动化处理。
一、ModSecurity 审计日志基础配置与两种日志格式
在解析字段之前,我们必须先理清审计日志的开关、记录时机、日志部件 SecAuditLogParts,这是决定日志里面有没有数据、能不能溯源的前提。很多人日志拿到手缺请求体、缺响应、看不到匹配规则,根源都是配置错误。
1.1 核心审计指令说明
ModSecurity 审计日志由一组 SecAudit 系列指令控制,在 modsecurity.conf 中配置,关键指令如下:
SecAuditEngine RelevantOnly
SecAuditLog /var/log/modsec/modsec_audit.log
SecAuditLogParts ABCEFHJKZ
SecAuditLogType Serial
SecAuditLogFormat Native
SecAuditLogStorageDir /var/log/modsec/storage
SecAuditEngine:审计引擎开关。On所有请求全部记录(日志量极大,生产慎用);Off关闭审计;RelevantOnly只记录触发规则(告警、拦截)的请求,这是生产最常用模式;SecAuditLogParts:决定每一条审计事务包含哪些数据块,也就是我们常说的 A/B/C/E/F/H/J/K/Z 部件,这是原生文本日志的核心;SecAuditLogType:Serial 串行单文件写入;Concurrent 并发模式,每个事务单独生成一个日志文件,存放在 StorageDir,高并发业务推荐 Concurrent,避免单文件锁、IO 阻塞;SecAuditLogFormat:Native(传统文本分段日志,ModSecurity 2 默认)、JSON(ModSecurity 3 新增,结构化日志,推荐 SIEM 采集)。
重点提醒:CRS 规则集默认配置很多时候是
SecAuditLogParts AHKZ,只有头部、匹配信息、尾部,没有请求头、请求体、响应体,只能看到告警,看不到载荷,无法还原攻击。做应急溯源必须至少开启ABCFHKZ,如果需要看响应内容、上传文件信息,增加 E、J。
1.2 原生 Native 格式日志部件对照表
原生审计日志采用分段标记,每一段以大写字母标记开头,一段代表一类数据,这是 ModSecurity 2.x 最经典的日志结构,也是很多老运维接触最多的日志格式:
| 部件标记 | 名称 | 说明 |
|---|---|---|
| A | Audit Header 头部 | 事务全局元数据:时间、源 IP、源端口、目标 IP、目标端口、唯一事务 ID、服务标识,是单条事务的起点 |
| B | Request Headers 请求头 | 完整 HTTP 请求头,Host、User-Agent、Cookie、Referer、Content-Type 全部在这里 |
| C | Request Body 请求体 | POST、PUT 等带 body 的请求内容,表单、JSON、上传表单内容,URL 编码后的原始载荷就在这里;multipart 大文件默认不会全部写入 C 块 |
| E | Response Body 响应体 | 后端返回给客户端的响应内容,用来判断攻击是否成功:比如注入是否返回数据库报错、木马上传是否返回成功页面 |
| F | Response Headers 响应头 | 后端返回头,HTTP 状态码、Server、Set-Cookie 等,判断 403 拦截、200 执行成功、500 报错 |
| H | Audit Trailer 追踪信息 | 规则执行结果、动作(allow/deny/drop)、拦截状态、处理相位信息 |
| K | Matched Rules 匹配规则 | 触发的所有规则列表,sid、msg、匹配位置、匹配到的原始载荷片段,审计最核心的告警信息块 |
| J | Multipart 文件信息 | 文件上传场景,文件名、文件大小、文件类型,排查文件上传攻击必备 |
| Z | Audit Footer 结束标记 | 事务结束标识,代表单条审计日志完整结束,解析脚本依靠 Z 切分事务边界 |
| D、G | 预留 | 官方未实现,无需配置 |
原生日志的缺点非常明显:非结构化文本,换行混乱、载荷中自带换行、特殊字符转义,正则切分事务容易出错,写解析脚本成本高,容易把多条事务混在一起。所以 ModSecurity 3 推出 JSON 格式审计日志,把所有部件打包成结构化 JSON 对象,非常适合 Logstash、Filebeat 采集送入 ELK/SIEM。
1.3 JSON 格式审计日志开启与优势
ModSecurity 3 开启 JSON 审计日志只需要一行配置:
SecAuditLogFormat JSON
JSON 格式不再使用 A/B/C 分段标记,所有数据被封装在 transaction 对象下,每一行 JSON 对应一次 HTTP 事务,一行一条,采集、解析、过滤难度大幅降低,也是现在新业务环境的首选方案。但是 JSON 格式同样存在限制:超大请求体、超大响应体依然会截断,并且 JSON 内部特殊字符会做转义,载荷中的换行、双引号会被转义,解析时需要做反转义处理。
这里区分一个极易混淆的日志:error.log 短告警日志 ≠ 审计日志。Nginx 下 ModSecurity 输出到 error.log 的是精简告警,只输出 sid、msg、transaction id、少量匹配内容,没有完整请求头、body、响应体,只能做初步告警,不能用于深度攻击还原。很多新手混淆两者,拿着 error.log 去溯源,最后发现缺少关键载荷信息。
二、审计日志字段完整含义解析
我们分两套体系讲解:第一套是 Native 文本格式 A 块、K 块、H 块关键字段;第二套是 ModSecurity3 JSON 审计日志全字段,这也是接入 SIEM 最常用的结构。
2.1 Native 格式:A 块(头部)字段详解
A 块是事务的起点,样例:
--41234567-A--
[26/Oct/2025:14:22:31 +0800] 1756242151.123456 192.168.1.100 54123 10.0.0.5 80
字段顺序依次是:
- 时间戳:
[26/Oct/2025:14:22:31 +0800],事务发生时间; - Transaction ID(事务 ID):
1756242151.123456,全局唯一标识,是整条日志最核心的关联键,error.log 告警、审计日志、Nginx access.log 都可以通过这个 ID 关联起来; - 源 IP 地址:客户端 IP;
- 源端口:客户端随机端口;
- 目标 IP:WAF / 后端服务 IP;
- 目标端口:服务端口(80/443)。
事务 ID 是溯源的核心,同一个攻击会话下,攻击者连续发多条 payload,每一条请求都会生成独立 transaction id;如果攻击者一次请求触发多条规则,所有 K 块告警都归属同一个 transaction id,这是我们判断 “同一次请求命中多条规则” 的依据。
2.2 Native 格式:K 块(匹配规则块)字段详解
K 块是告警信息本体,也是大家最关心的部分,样例:
--41234567-K--
SecRuleEngine: On; SecAction "id:900700,phase:1,nolog,pass,msg:'CRS attack detection marker'";
SecRule ARGS "@rx (?i)union.*select" "id:942100,phase:2,deny,log,auditlog,msg:'SQL Injection Attempt - Union Select',tag:'OWASP Top10:A03:2021-Injection',tag:'SQLi',severity:'CRITICAL'";
K 块每一条命中规则包含的信息:
- id:规则 SID,CRS 规则以 9 开头,自定义规则建议使用 1000000 以上号段避免冲突;
- phase:触发相位,ModSecurity 一共 5 个相位:
- Phase 1:请求头读取完成,还没解析参数;
- Phase 2:请求参数解析完成(ARGS、ARGS_GET、ARGS_POST),SQL 注入、XSS 大部分规则在 phase2;
- Phase 3:请求体读取完成;
- Phase 4:后端响应头返回;
- Phase 5:响应体返回,响应检测、信息泄露规则在 phase5;
- 动作 action:pass、deny、drop、log、auditlog;
deny拦截,drop直接断开连接;auditlog标记这条规则触发审计日志记录; - msg:规则告警描述文本;
- tag:标签,CRS 自带 OWASP Top10 标签、攻击类型标签、技术标签;
- severity:风险等级,CRITICAL、HIGH、MEDIUM、LOW、NOTICE;
- 匹配位置:ARGV、ARGS_GET、ARGS_POST、REQUEST_URI、REQUEST_BODY、REQUEST_HEADERS、COOKIES;
- 匹配载荷片段:K 块会附带正则匹配命中的子串,也就是攻击者提交的 payload 片段。
这里有一个高频坑:K 块的匹配载荷片段是截断的,如果 payload 很长,K 块只会截取匹配到的一小段,完整载荷必须去 C 块(请求体)、B 块(请求头)、A 块 URI 里面找,不能只依赖 K 块片段判断攻击。
2.3 Native 格式:H 块(尾部追踪块)字段详解
H 块记录本次事务最终执行结果,决定这个请求有没有被拦住:
--41234567-H--
Action: Intercepted (phase 2)
Stopwatch: 1756242151.123456-1756242151.123510
Producer: ModSecurity for nginx (NGINX)/3.0.10; OWASP CRS/4.0.0;
Server: nginx/1.24.0
关键字段:
- Action:
Intercepted= 拦截成功;Detected= 仅检测(DetectionOnly 模式),没有拦截;Allowed= 放行; - Stopwatch:本次 WAF 处理耗时,用来排查慢规则、ReDoS 正则导致的性能问题;
- Producer:ModSecurity 版本、CRS 版本,审计时可以用来判断规则集版本差异带来的误报;
- Server:后端 Web 服务版本。
2.4 ModSecurity 3 JSON 审计日志完整字段释义
JSON 结构是现在自动化解析、SIEM 接入的主流,我们梳理核心一级、二级字段,方便后续脚本开发:
{
"transaction": {
"time": "26/Oct/2025:14:22:31 +0800",
"id": "1756242151.123456",
"client_ip": "192.168.1.100",
"client_port": 54123,
"server_ip": "10.0.0.5",
"server_port": 80,
"request": {
"method": "GET",
"uri": "/search?q=admin' union select 1,2,3-- -",
"http_version": "HTTP/1.1",
"headers": {
"Host": "test.com",
"User-Agent": "Mozilla/5.0",
"Cookie": "session=xxx"
},
"body": "",
"args": {
"q": "admin' union select 1,2,3-- -"
}
},
"response": {
"status": 403,
"headers": {
"Server": "nginx"
},
"body": "Access denied"
},
"rules": [
{
"id": 942100,
"msg": "SQL Injection Attempt - Union Select",
"phase": 2,
"action": "deny",
"tags": ["SQLi", "OWASP Top10:A03:2021-Injection"],
"severity": "CRITICAL",
"match": "union select",
"match_location": "ARGS_GET:q"
}
],
"audit_data": {
"action_taken": "Intercepted",
"engine_mode": "On"
}
}
}
重点字段解读:
transaction.id:事务唯一 ID,关联主键;request.args:解析后的参数,GET、POST 参数自动拆成键值对,这是 JSON 格式巨大优势,原生文本日志需要自己写代码分割参数;request.body:原始请求体;response.status:后端返回 HTTP 状态码,判断攻击是否执行成功;rules[]数组:一次请求命中多条规则时,全部放在数组内,不会丢失告警;match_location:精准标记命中位置,ARGS_GET、REQUEST_BODY、COOKIE、REQUEST_URI;audit_data.action_taken:最终拦截动作。
重要差异:JSON 格式中
args是 ModSecurity 解码后的参数,和后端应用解码逻辑可能存在差异,双重编码、特殊 Unicode 字符场景下,JSON 里展示的参数和后端实际拿到的参数会不一致,这也是之前文章讲的 WAF 隐形绕过的日志表现。
2.5 容易被忽略的日志元数据与变量字段
ModSecurity 日志中还存在大量自定义变量,在 K 块、JSON 规则块中会出现:TX、ARGS_NAMES、REQUEST_FILENAME、REQUEST_URI_RAW、MULTIPART_FILENAME。
REQUEST_URI:WAF 解码后的 URI;REQUEST_URI_RAW:未经 URL 解码的原始 URI,排查编码绕过、双重编码攻击必须看 RAW 字段;ARGS_NAMES:参数名称,很多攻击是污染参数名、HPP 参数污染,只看参数值会漏掉;TX:事务临时变量,CRS 规则会把评分、异常计数写入 TX,比如TX.anomaly_score,CRS 异常评分模式下,审计日志里可以看到本次请求的总风险分数,用来做分级告警。
CRS 评分模式(Anomaly Scoring)是生产最常用模式,日志里会出现 TX.sql_injection_score、TX.xss_score、TX.total_anomaly_score,这个分数是后续告警过滤、分级降噪的核心依据。
三、基于审计日志还原攻击行为:溯源方法论与实战案例
看懂字段只是基础,蓝队真正的能力是:拿到一堆审计日志,一步步还原攻击者完整攻击链路,区分:自动化扫描器、弱口令爆破、SQL 注入探测、XSS、文件上传、绕过尝试、误报、真实入侵成功。很多人只会看 sid,分不清 “只是探测” 和 “攻击成功”,导致应急响应判断失误。
3.1 攻击还原四步标准流程
第一步:锁定事务 ID,拉取该事务完整上下文
当 SIEM 或者 error.log 出现一条高危告警,第一步不是直接拉黑 IP,而是拿 transaction.id 在审计日志中检索整条事务,拿到 A/B/C/E/F/H/K/Z 全部部件。
必须核对 4 个信息:
- 命中位置:是 GET 参数、POST 参数、Cookie、URI、请求头还是请求体?
- 原始载荷:K 块的匹配片段是截断的,去 C 块 /request.body、request.args 拿到完整 payload;
- 最终动作:H 块 action 是 Intercepted(拦住)还是 Detected(仅告警放行);
- 后端响应状态码、响应体:response.status 200、500、404、403 分别代表不同含义。
第二步:载荷还原与解码,还原攻击者真实意图
载荷经常经过 URL 编码、双重编码、Unicode 编码、注释拆分、大小写变形,日志里看到的是编码后的字符串,需要手动解码还原。
举几个日志里常见的变形载荷:
- 原始日志 ARGS:
?id=admin%27%20union%20select→ URL 解码admin' union select; - 双重编码:
id=admin%2527→ 第一层解码admin%27,后端二次解码才是admin';ModSecurity 默认只做一次解码,所以在REQUEST_URI_RAW里面才能看到原始双重编码字符串; - 注释拆分载荷:
sel/*abc*/ect,WAF 正则匹配拆分关键字,日志匹配片段是sel和ect,分开命中,单看 K 块片段看不懂,拼接完整 body 才知道是拆分注入; - 全角字符、Unicode 等价字符:
select,日志明文看起来是 select,但是字符编码不同,部分旧规则无法命中,属于绕过尝试。
这里一个关键结论:判断绕过,不能只看 WAF 有没有告警;要看日志里有没有出现变形载荷,同时 action 是 Detected 放行、后端返回 200。 告警存在不代表拦截成功;没有告警,也不代表没有攻击,可能是规则被绕过。
第三步:同 IP、同 UA、同会话聚合,还原攻击时序
单条事务只能看到单次请求,攻击者的行为是序列:先目录扫描、再探测注入点、再尝试变形绕过、再上传后门、最后回连。我们需要以 源 IP、User-Agent、时间窗口(比如 5 分钟)做聚合,把同一个攻击者的所有事务 ID 串起来,画出攻击时序。
聚合后可以区分攻击类型:
- 自动化扫描器(Xray、Nuclei、AWVS):短时间大量不同 URI、不同 payload,UA 固定,高频请求,大部分命中规则,WAF 拦截;
- 人工红队测试:载荷不断变形,第一次普通注入被拦,第二次换成注释拆分,第三次双重编码,不断调整 payload,有明确的绕过试探序列;
- 爆破攻击:参数是账号密码,payload 重复度高,URI 固定,大量连续请求;
- 真实入侵成功:某一条请求告警为 Detected 放行,后端返回 200,响应体出现数据库内容、webshell 写入成功标识。
第四步:判定攻击有效性,区分探测 / 成功 / 误报
这是最考验经验的一步,给大家一套判定标准:
- 探测类(扫描,无危害):payload 是标准注入、XSS 测试字符串,WAF 拦截(403),后端响应无敏感信息,攻击者只是探测是否存在漏洞;
- 绕过尝试(高风险):payload 做编码、注释拆分、HPP 参数污染,WAF 告警或者无告警,action 为 Detected 放行,后端返回 200;
- 攻击成功(高危应急):载荷成功执行,响应体返回数据库数据、目录列表、文件写入成功提示,WAF 未拦截或者告警放行;
- 误报(良性):请求是业务正常参数,内容和规则正则匹配只是巧合,比如业务搜索框允许用户输入包含
select的商品名称、文章标题。
3.2 实战案例 1:SQL 注入告警还原,区分扫描和真实注入
审计日志 K 块告警 sid:942100,msg:SQL Injection Attempt,我们检索 transaction id 拿到完整 C 块请求体:
POST /api/search HTTP/1.1
Host: test.com
Content-Type: application/x-www-form-urlencoded
q=test' union select 1,version(),database()-- -
H 块:Action:Intercepted,response.status:403。
结论:这是扫描器注入探测,WAF 成功拦截,风险等级中等,不需要紧急应急,只需要标记 IP 扫描源,按需拉黑。
换另一条日志:同样 sid942100,H 块 Action:Detected,response.status:200,E 块响应体里面出现 5.7.36(MySQL 版本号)。
结论:WAF 处于检测模式,没有拦截,注入成功,属于高危事件,立即隔离 IP、下线接口、排查数据库。
3.3 实战案例 2:误报还原,业务关键字误触发
告警 sid:942100 SQL 注入,payload:select优质水果。
上下文:业务是电商搜索,用户输入商品标题包含中文 “select”,CRS 的小写不敏感正则匹配命中,属于典型误报。
还原之后的处理方案:不能直接全局删除 942100 规则,而是在这个接口路径上加 ctl:ruleRemoveById=942100,精准白名单,这也是日志审计的价值:找到误报的业务路径、参数,做精准豁免,而不是粗暴删规则。
3.4 实战案例 3:HPP 参数污染绕过日志特征
攻击者请求:?a=1&a=union+select
ModSecurity 的 ARGS 解析策略:部分版本默认取第一个参数 a=1,不会命中规则;后端 Java/Python 框架读取最后一个参数 a=union select。
日志特征:审计日志 request.args 里只记录第一个 a=1,K 块没有告警,但是后端拿到恶意参数。
这种场景下,WAF 审计日志看不到恶意 payload,没有告警,属于隐形绕过,单纯依靠 ModSecurity 告警日志无法发现,必须结合 access.log、后端应用日志交叉比对。这也是我们之前讲的 WAF 绕过点,日志审计有边界,不能单靠 WAF 日志做全部检测。
3.5 日志溯源的局限性(必须知道)
- 日志截断:超大 body、超长响应体,ModSecurity 会截断,完整载荷丢失;
- 解析差异:WAF 参数解码逻辑和后端不一致,部分变形载荷在日志里看不到;
- 加密流量:HTTPS 下,WAF 解密之后才能记录内容,如果 WAF 没有配置 SSL 解密,审计日志看不到请求体;
- 请求走私:HTTP 走私攻击,恶意载荷脱离 WAF 检测的事务边界,不会写入审计日志;
- 日志丢失:磁盘满、权限不足、并发模式存储目录权限错误、日志轮转丢失。
所以应急溯源永远是多日志交叉验证:ModSecurity 审计日志 + Nginx access.log + 后端应用日志 + 数据库慢查询日志,不能单一依赖 WAF 日志。
四、告警风暴根源、误报分类与降噪策略
生产环境开启 CRS 全量规则之后,最常见问题就是告警风暴:一天几万、几十万条告警,安全人员根本看不过来,真正的高危攻击淹没在海量误报里面。很多团队的解决方案粗暴关闭审计日志、关闭高危规则,直接放弃防护。正确思路是:基于审计日志做分类、过滤、降噪,建立分级告警体系。
4.1 ModSecurity 告警风暴的几类来源
- 业务正常关键词误匹配(最高占比):搜索、评论、富文本、商品名称、用户昵称自带 SQL、XSS 关键字;
- 第三方爬虫、监控脚本、健康检查、内部自动化接口触发规则;
- 扫描器批量探测:Nuclei、Xray、AWVS、Shodan 爬虫,批量请求产生大量重复告警;
- 规则本身缺陷:正则编写漏洞、宽松正则,之前第一篇文章讲的正则陷阱;
- 日志配置问题:SecAuditEngine On,所有请求全部记录,无关正常请求也生成审计日志。
4.2 误报分层治理方案(从日志侧落地)
第一层:基于元数据过滤(前置过滤,成本最低)
过滤维度:请求 URI、请求方法、源 IP 白名单、User-Agent 白名单、内部网段。
- 内部运维 IP、监控服务器 IP,直接豁免审计告警;
- 静态资源路径:/js、/css、/img、/font,静态资源几乎不会出现注入攻击,静态路径告警直接标记为低优先级,不推送告警;
- 健康检查接口、监控接口,白名单路径。
第二层:基于攻击类型、风险评分过滤
CRS 异常评分模式下,依靠 TX.total_anomaly_score 分级:
- 分数 < 5:低风险,仅入库,不推送告警;
- 5 ≤ 分数 < 10:中风险,汇总日报,不实时告警;
- 分数 ≥10:高危,实时推送钉钉 / 企业微信告警。
同时区分攻击 tag:SQLi、XSS、RCE、文件上传是高危 tag;User-Agent 伪造、协议异常是低危。
第三层:基于载荷语义过滤(精准误报豁免)
同样 sid,区分 payload:
- payload 是业务正常中文、商品名称、文档内容 → 误报;
- payload 包含编码、注释、拆分、SQL 函数(version、database、sleep)→ 真实攻击探测;
这里就需要脚本对载荷做熵值计算、特征匹配,区分良性文本和恶意混淆载荷。高熵字符串(大量随机字符、base64、十六进制编码)恶意概率显著更高。
第四层:聚合去重,扫描器告警合并
同一个源 IP,同一个 sid,5 分钟内重复告警超过 10 次,判定为自动化扫描,合并为一条扫描告警,不再逐条推送,避免刷屏。
4.3 白名单编写原则(避坑)
白名单优先使用路径 + 参数名精准豁免,禁止全局 sid 删除。
错误写法:SecRuleRemoveById 942100 全局删掉 SQL 注入规则;
正确写法:
SecRule REQUEST_FILENAME "@startsWith /api/goods/search" "id:1000001,phase:2,nolog,pass,ctl:ruleRemoveById=942100"
只在商品搜索接口豁免这条规则,其他接口继续防护。而白名单的依据,全部来自审计日志长期沉淀的误报样本。
五、Python 告警过滤 & 解析脚本开发(可直接部署)
这一节提供一套完整可运行脚本,支持两种模式:
- 解析 Native 原生文本审计日志,自动切分事务、提取字段、导出报表;
- 解析 JSON 格式审计日志,告警过滤、降噪、聚合、输出高危告警,支持白名单、评分过滤、扫描聚合;
脚本功能:事务切分、字段提取、误报过滤、扫描去重、高危告警输出、导出 csv 报告,适配生产环境离线分析,也可以配合 tail -f 实时消费日志。
脚本说明:脚本仅用于日志本地审计分析,请勿用于未授权流量采集;默认 JSON 模式,兼容 ModSecurity3,附带原生文本简易解析函数;白名单配置独立,可按需扩充。
#!/usr/bin/env python3
# ModSecurity 审计日志解析、告警过滤、降噪脚本
# 支持:JSON审计日志 / Native文本审计日志,事务聚合、误报过滤、扫描去重、高危告警输出
import json
import re
import csv
import time
from collections import defaultdict
import argparse
# ===================== 配置区域,按需修改 =====================
# 白名单配置:白名单IP、白名单URI前缀、豁免SID
WHITE_IP = {"127.0.0.1", "192.168.1.10"}
WHITE_URI_PREFIX = {"/static/", "/health", "/monitor", "/js/", "/css/"}
EXCLUDE_SID = set()
# 高危tag列表,命中实时告警
HIGH_TAGS = {"SQLi", "XSS", "RCE", "FileUpload", "CommandInjection", "PathTraversal"}
# 风险分数阈值
SCORE_ALERT = 10
SCORE_IGNORE = 5
# 扫描聚合窗口:秒,同IP同sid,窗口内超过阈值判定为扫描
SCAN_WINDOW = 300
SCAN_THRESHOLD = 10
# 扫描计数器
scan_counter = defaultdict(lambda: {"count":0, "first_ts":0})
# 输出文件
OUTPUT_CSV = "./modsec_alert_report.csv"
# =============================================================
def is_white_list(transaction: dict) -> bool:
"""白名单判断"""
client_ip = transaction.get("client_ip", "")
uri = transaction.get("request", {}).get("uri", "")
if client_ip in WHITE_IP:
return True
for prefix in WHITE_URI_PREFIX:
if uri.startswith(prefix):
return True
return False
def calc_payload_entropy(s: str) -> float:
"""计算字符串香农熵,辅助判断混淆载荷,越高越可疑"""
import math
if not s:
return 0.0
freq = defaultdict(int)
for c in s:
freq[c] += 1
entropy = 0.0
length = len(s)
for count in freq.values():
p = count / length
entropy -= p * math.log2(p)
return entropy
def filter_transaction_json(tx: dict) -> dict | None:
"""单条JSON事务过滤,返回告警对象,无告警返回None"""
if is_white_list(tx):
return None
rules = tx.get("rules", [])
if not rules:
return None
tx_id = tx.get("id", "")
client_ip = tx.get("client_ip", "")
ts_str = tx.get("time", "")
try:
ts = time.mktime(time.strptime(ts_str, "%d/%b/%Y:%H:%M:%S %z"))
except Exception:
ts = time.time()
high_alert_list = []
anomaly_score = 0
for rule in rules:
sid = rule.get("id")
if sid in EXCLUDE_SID:
continue
tags = rule.get("tags", [])
msg = rule.get("msg", "")
match_payload = rule.get("match", "")
match_loc = rule.get("match_location", "")
severity = rule.get("severity", "LOW")
entropy = calc_payload_entropy(match_payload)
is_high = bool(set(tags) & HIGH_TAGS)
high_alert_list.append({
"sid": sid,
"msg": msg,
"tags": tags,
"payload": match_payload,
"loc": match_loc,
"severity": severity,
"entropy": round(entropy,2)
})
# 扫描聚合统计
for alert in high_alert_list:
key = f"{client_ip}_{alert['sid']}"
sc = scan_counter[key]
if ts - sc["first_ts"] > SCAN_WINDOW:
sc["count"] = 1
sc["first_ts"] = ts
else:
sc["count"] +=1
alert["is_scan"] = sc["count"] >= SCAN_THRESHOLD
alert["scan_count"] = sc["count"]
if not high_alert_list:
return None
output = {
"tx_id": tx_id,
"time": ts_str,
"client_ip": client_ip,
"method": tx.get("request",{}).get("method"),
"uri": tx.get("request",{}).get("uri"),
"status": tx.get("response",{}).get("status"),
"action": tx.get("audit_data",{}).get("action_taken","Unknown"),
"alerts": high_alert_list,
"anomaly_score": anomaly_score
}
return output
def parse_json_line(line: str):
"""解析单行JSON审计日志"""
try:
data = json.loads(line.strip())
tx = data.get("transaction", {})
return filter_transaction_json(tx)
except json.JSONDecodeError:
return None
def parse_native_log(file_path: str):
"""原生Native文本日志简易解析器(事务按Z分割)
原生格式解析复杂,生产优先JSON格式,此函数仅用于简单提取
"""
with open(file_path, "r", encoding="utf-8", errors="ignore") as f:
buffer = []
for line in f:
buffer.append(line)
if "--Z--" in line:
full_tx = "".join(buffer)
buffer = []
# 简单正则提取A块事务ID、IP、K块sid、msg
a_reg = re.compile(r'--A--\n\[(.+?)\]\s+(\d+\.\d+)\s+(\d+\.\d+\.\d+\.\d+)\s+(\d+)\s+(\d+\.\d+\.\d+\.\d+)\s+(\d+)')
k_reg = re.compile(r'id:(\d+).*?msg:\'(.+?)\'')
a_match = a_reg.search(full_tx)
k_matches = k_reg.findall(full_tx)
if a_match:
time_str, txid, srcip, srcport, dstip, dstport = a_match.groups()
alerts = []
for sid,msg in k_matches:
alerts.append({"sid":sid,"msg":msg})
print(f"[Native Transaction] TXID:{txid} SRC:{srcip} Alert Count:{len(alerts)}")
return
def main():
parser = argparse.ArgumentParser(description="ModSecurity Audit Log Filter Script")
parser.add_argument("--logfile", required=True, help="审计日志文件路径")
parser.add_argument("--mode", default="json", choices=["json","native"], help="日志格式 json / native")
parser.add_argument("--tail", action="store_true", help="实时tail消费日志")
args = parser.parse_args()
report_rows = []
if args.mode == "json":
if args.tail:
import subprocess
p = subprocess.Popen(["tail","-f",args.logfile],stdout=subprocess.PIPE,encoding="utf-8",errors="ignore")
for line in p.stdout:
res = parse_json_line(line)
if res:
for alert in res["alerts"]:
print(f"[ALERT] {res['time']} | IP:{res['client_ip']} | SID:{alert['sid']} | {alert['msg']} | SCAN:{alert['is_scan']}")
report_rows.append([
res["time"], res["tx_id"], res["client_ip"], res["uri"], res["status"],
res["action"], alert["sid"], alert["msg"], alert["payload"], alert["loc"], alert["severity"], alert["is_scan"]
])
else:
with open(args.logfile,"r",encoding="utf-8",errors="ignore") as f:
for line in f:
res = parse_json_line(line)
if res:
for alert in res["alerts"]:
print(f"[ALERT] {res['time']} | IP:{res['client_ip']} | SID:{alert['sid']} | {alert['msg']} | SCAN:{alert['is_scan']}")
report_rows.append([
res["time"], res["tx_id"], res["client_ip"], res["uri"], res["status"],
res["action"], alert["sid"], alert["msg"], alert["payload"], alert["loc"], alert["severity"], alert["is_scan"]
])
elif args.mode == "native":
parse_native_log(args.logfile)
# 写入csv报表
with open(OUTPUT_CSV, "w", newline="", encoding="utf-8-sig") as cf:
writer = csv.writer(cf)
writer.writerow(["time","tx_id","client_ip","uri","http_status","action","sid","msg","payload","match_location","severity","is_scan"])
writer.writerows(report_rows)
print(f"\n报表导出完成:{OUTPUT_CSV},共 {len(report_rows)} 条告警记录")
if __name__ == "__main__":
main()
脚本使用示例:
# 离线解析JSON审计日志,导出csv报表
python3 modsec_audit_filter.py --logfile /var/log/modsec/modsec_audit.json --mode json
# 实时tail消费日志,持续过滤告警
python3 modsec_audit_filter.py --logfile /var/log/modsec/modsec_audit.json --mode json --tail
# 解析原生文本日志(仅简易提取)
python3 modsec_audit_filter.py --logfile /var/log/modsec/modsec_audit.log --mode native
脚本扩展方向:对接钉钉 / 企业微信 webhook 推送高危告警、接入 Redis 存储扫描计数、对接 Elasticsearch 写入、增加载荷解码函数(URL 解码、Unicode 解码)、增加自动生成白名单建议。
脚本限制:原生文本日志格式解析复杂度极高,换行、特殊字符、分段错乱问题很多,生产环境强烈建议使用 JSON 审计日志,减少解析成本。
六、日志采集、存储、轮转与 ELK/SIEM 接入最佳实践
6.1 日志轮转配置
审计日志增长速度极快,开启 RelevantOnly 之后,高流量站点单日也会几十 GB 日志,必须配置 logrotate,防止磁盘打满丢失日志:
/var/log/modsec/*.log {
daily
rotate 14
compress
missingok
notifempty
postrotate
systemctl reload nginx
endscript
}
保留 14 天审计日志,满足等保、应急溯源取证要求;如果是合规要求高的业务,可以延长至 30-90 天,同步归档到对象存储。
6.2 Filebeat 采集 JSON 审计日志到 ELK
Filebeat 配置核心要点:
filebeat.inputs:
- type: filestream
paths:
- /var/log/modsec/modsec_audit.json
parsers:
- ndjson:
overwrite_keys: true
add_error_key: true
output.elasticsearch:
hosts: ["http://127.0.0.1:9200"]
index: "modsec-audit-%{+yyyy.MM.dd}"
JSON 格式天然适配 ndjson 解析,直接把 transaction、rules 字段送入 ES,Kibana 可以直接基于字段做检索、仪表盘:按源 IP 统计、按 sid 统计、高危告警时序图、扫描 IP 排行。
6.3 日志存储与取证规范
应急取证场景,审计日志属于电子证据,禁止直接修改原始日志文件,正确流程:
- 对原始日志文件做 cp 复制,计算 md5 哈希留存;
- 在副本上做解析、过滤、载荷解码;
- 原始日志只读权限,留存哈希值,保证证据不可篡改。
七、结语
ModSecurity 审计日志不是简单的告警流水,它是 WAF 整个防护体系的 “黑匣子”。很多团队把 ModSecurity 当成一个开盒即用的防护组件,只看拦截效果,忽略日志审计能力,等到攻击者绕过规则、入侵业务之后,手里没有任何证据还原攻击路径。
本文从日志配置、Native 与 JSON 字段拆解、攻击还原方法论、误报降噪、落地过滤脚本,完整覆盖审计日志深度分析全链路。我们需要记住几个核心要点:
- 审计日志部件配置决定信息量,溯源必须开启 ABCEFHJKZ,不要只用 AHK;
- transaction id 是唯一关联键,所有告警、请求、响应依靠这个 ID 串联;
- 告警不等于攻击成功,必须结合响应状态码、响应体、载荷变形综合判断;
- 告警风暴不能靠删规则、关日志解决,而是基于日志做分层过滤、白名单、扫描聚合;
- 原生文本日志解析成本高,ModSecurity3 环境优先切换 JSON 审计日志,自动化解析、SIEM 接入效率大幅提升;
- WAF 日志存在固有盲区,溯源必须多源日志交叉验证。
日志审计是蓝队的基本功,看懂日志、还原攻击、持续沉淀误报样本、迭代白名单和规则,才能让 ModSecurity 从 “只会拦的工具” 变成一套可运营、可溯源、持续迭代的 Web 防护体系。
【免责声明】 本文所有日志解析逻辑、Python 脚本、审计分析流程,仅用于授权环境安全审计、蓝队应急演练、WAF 规则运营。ModSecurity 原生日志格式、JSON 字段定义来自 ModSecurity 官方文档与 OWASP CRS公开资料;脚本仅作为日志分析工具,不具备自动防御能力。上线前务必在测试环境验证脚本逻辑,防止日志解析异常、误过滤真实高危告警。使用者自行承担部署、运行脚本带来的全部风险。
最后
关于网络安全技术储备
网络安全是当今信息时代中非常重要的一环。无论是找工作还是感兴趣(黑客),都是未来职业选择中上上之选,为了保护自己的网络安全,学习网络安全知识是必不可少的。
如果你是准备学习网络安全(黑客)或者正在学习,下面这些你应该能用得上:
①网络安全学习路线
②20份渗透测试电子书
③安全攻防357页笔记
④50份安全攻防面试指南
⑤安全红队渗透工具包
⑥网络安全必备书籍
⑦100个漏洞实战案例
⑧安全大厂内部视频资源
⑨历年CTF夺旗赛题解析
一、网络安全(黑客)学习路线
网络安全(黑客)学习路线,形成网络安全领域所有的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、网络安全教程视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

三、网络安全CTF实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这里带来的是CTF&SRC资料&HW资料,毕竟实战是检验真理的唯一标准嘛~

四、网络安全面试题
最后,我们所有的作为都是为就业服务的,所以关键的临门一脚就是咱们的面试题内容,所以面试题板块是咱们不可或缺的部分,这里我给大家准备的就是我在面试期间准备的资料。

网安其实不难,难的是坚持和相信自己,我的经验是既然已经选定网安你就要相信它,相信它能成为你日后进阶的高效渠道,这样自己才会更有信念去学习,才能在碰到困难的时候坚持下去。
机会属于有准备的人,这是一个实力的时代。人和人之间的差距不在于智商,而在于如何利用业余时间,只要你想学习,什么时候开始都不晚,不要担心这担心那,你只需努力,剩下的交给时间!
这份完整版的网络安全学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

本文系统解析ModSecurity审计日志的Native与JSON两种格式,详解A/K/H块及JSON核心字段含义,阐明事务ID、匹配位置、风险评分、载荷解码等关键元数据;提出攻击还原四步法(事务关联→载荷解码→IP/UA聚合→有效性判定),并针对SQL注入、HPP绕过、业务误报等场景给出溯源案例;深入剖析告警风暴成因,提出基于元数据、风险评分、载荷语义、扫描聚合的四层降噪策略,并提供可部署的Python日志解析与过滤脚本,覆盖日志采集(Filebeat+ELK)、存储轮转与取证规范。
424

被折叠的 条评论
为什么被折叠?



