ModSecurity 日志深度解析:审计日志字段含义、攻击行为还原、告警过滤脚本

本文系统解析ModSecurity审计日志的Native与JSON两种格式,详解A/K/H块及JSON核心字段含义,阐明事务ID、匹配位置、风险评分、载荷解码等关键元数据;提出攻击还原四步法(事务关联→载荷解码→IP/UA聚合→有效性判定),并针对SQL注入、HPP绕过、业务误报等场景给出溯源案例;深入剖析告警风暴成因,提出基于元数据、风险评分、载荷语义、扫描聚合的四层降噪策略,并提供可部署的Python日志解析与过滤脚本,覆盖日志采集(Filebeat+ELK)、存储轮转与取证规范。

【法律声明】 本文仅用于安全研究、WAF 日志审计、蓝队应急溯源教学。文中解析脚本、日志分析方法、告警过滤规则,仅允许在拥有授权的业务环境、靶场环境使用;禁止对未授权站点日志进行采集、解析、批量告警挖掘。违规使用带来的全部法律风险由使用者自行承担。

前言

ModSecurity 很多使用者都会陷入一个误区:把 WAF 告警日志当成 “报警弹窗”,告警来了就看一眼规则 ID,误报就直接加 ctl:ruleRemoveById 删掉规则,命中高危就直接拉黑 IP。这套操作简单粗暴,但它浪费了 ModSecurity 审计日志里最有价值的东西:完整事务上下文、载荷原始内容、规则匹配链路、请求与响应的全链路细节。

ModSecurity 的日志体系分为两类:一类是 Nginx/Apache 的 error.log 短告警日志,只记录简要命中信息;另一类是完整的审计日志 audit log,也就是我们本文重点拆解的对象。很多人配置 ModSecurity 时直接关闭审计日志,或者只开启匹配时记录,日志部件只保留 AHK,丢失请求体、响应体、匹配详情,等到真正发生入侵、被绕过、发生误报风暴的时候,手里没有任何材料去还原攻击链路。

在真实应急场景中,审计日志是蓝队手里最重要的证据源:我们可以从日志中还原攻击者的探测路径、载荷变形手法、绕过尝试、参数污染、编码混淆;可以区分误报、扫描、真实攻击、攻击成功;还可以基于日志数据编写过滤脚本,自动降噪、归类、导出报表,解决生产环境告警风暴的痛点。

本文从底层日志配置、原生审计日志部件、JSON 审计日志全字段解析入手,一步步讲解如何从一堆文本日志里还原完整攻击行为,梳理误报判定思路,最后落地一套可直接上线的 Python 告警过滤、降噪、归类脚本,同时配套日志接入 ELK、SIEM 的落地经验。全文覆盖 ModSecurity 2.x 和 ModSecurity 3.x 的日志差异,区分 Native 原生文本格式与 JSON 格式,解决绝大多数运维、安全工程师在日志审计时踩过的坑:字段看不懂、载荷乱码、事务无法关联、误报无法溯源、日志量爆炸无法自动化处理。

一、ModSecurity 审计日志基础配置与两种日志格式

在解析字段之前,我们必须先理清审计日志的开关、记录时机、日志部件 SecAuditLogParts,这是决定日志里面有没有数据、能不能溯源的前提。很多人日志拿到手缺请求体、缺响应、看不到匹配规则,根源都是配置错误。

1.1 核心审计指令说明

ModSecurity 审计日志由一组 SecAudit 系列指令控制,在 modsecurity.conf 中配置,关键指令如下:

SecAuditEngine RelevantOnly
SecAuditLog /var/log/modsec/modsec_audit.log
SecAuditLogParts ABCEFHJKZ
SecAuditLogType Serial
SecAuditLogFormat Native
SecAuditLogStorageDir /var/log/modsec/storage
  • SecAuditEngine:审计引擎开关。On 所有请求全部记录(日志量极大,生产慎用);Off 关闭审计;RelevantOnly 只记录触发规则(告警、拦截)的请求,这是生产最常用模式;
  • SecAuditLogParts:决定每一条审计事务包含哪些数据块,也就是我们常说的 A/B/C/E/F/H/J/K/Z 部件,这是原生文本日志的核心;
  • SecAuditLogType:Serial 串行单文件写入;Concurrent 并发模式,每个事务单独生成一个日志文件,存放在 StorageDir,高并发业务推荐 Concurrent,避免单文件锁、IO 阻塞;
  • SecAuditLogFormat:Native(传统文本分段日志,ModSecurity 2 默认)、JSON(ModSecurity 3 新增,结构化日志,推荐 SIEM 采集)。

重点提醒:CRS 规则集默认配置很多时候是 SecAuditLogParts AHKZ,只有头部、匹配信息、尾部,没有请求头、请求体、响应体,只能看到告警,看不到载荷,无法还原攻击。做应急溯源必须至少开启 ABCFHKZ,如果需要看响应内容、上传文件信息,增加 E、J。

1.2 原生 Native 格式日志部件对照表

原生审计日志采用分段标记,每一段以大写字母标记开头,一段代表一类数据,这是 ModSecurity 2.x 最经典的日志结构,也是很多老运维接触最多的日志格式:

部件标记名称说明
AAudit Header 头部事务全局元数据:时间、源 IP、源端口、目标 IP、目标端口、唯一事务 ID、服务标识,是单条事务的起点
BRequest Headers 请求头完整 HTTP 请求头,Host、User-Agent、Cookie、Referer、Content-Type 全部在这里
CRequest Body 请求体POST、PUT 等带 body 的请求内容,表单、JSON、上传表单内容,URL 编码后的原始载荷就在这里;multipart 大文件默认不会全部写入 C 块
EResponse Body 响应体后端返回给客户端的响应内容,用来判断攻击是否成功:比如注入是否返回数据库报错、木马上传是否返回成功页面
FResponse Headers 响应头后端返回头,HTTP 状态码、Server、Set-Cookie 等,判断 403 拦截、200 执行成功、500 报错
HAudit Trailer 追踪信息规则执行结果、动作(allow/deny/drop)、拦截状态、处理相位信息
KMatched Rules 匹配规则触发的所有规则列表,sid、msg、匹配位置、匹配到的原始载荷片段,审计最核心的告警信息块
JMultipart 文件信息文件上传场景,文件名、文件大小、文件类型,排查文件上传攻击必备
ZAudit Footer 结束标记事务结束标识,代表单条审计日志完整结束,解析脚本依靠 Z 切分事务边界
D、G预留官方未实现,无需配置

原生日志的缺点非常明显:非结构化文本,换行混乱、载荷中自带换行、特殊字符转义,正则切分事务容易出错,写解析脚本成本高,容易把多条事务混在一起。所以 ModSecurity 3 推出 JSON 格式审计日志,把所有部件打包成结构化 JSON 对象,非常适合 Logstash、Filebeat 采集送入 ELK/SIEM。

1.3 JSON 格式审计日志开启与优势

ModSecurity 3 开启 JSON 审计日志只需要一行配置:

SecAuditLogFormat JSON

JSON 格式不再使用 A/B/C 分段标记,所有数据被封装在 transaction 对象下,每一行 JSON 对应一次 HTTP 事务,一行一条,采集、解析、过滤难度大幅降低,也是现在新业务环境的首选方案。但是 JSON 格式同样存在限制:超大请求体、超大响应体依然会截断,并且 JSON 内部特殊字符会做转义,载荷中的换行、双引号会被转义,解析时需要做反转义处理。

这里区分一个极易混淆的日志:error.log 短告警日志 ≠ 审计日志。Nginx 下 ModSecurity 输出到 error.log 的是精简告警,只输出 sid、msg、transaction id、少量匹配内容,没有完整请求头、body、响应体,只能做初步告警,不能用于深度攻击还原。很多新手混淆两者,拿着 error.log 去溯源,最后发现缺少关键载荷信息。

二、审计日志字段完整含义解析

我们分两套体系讲解:第一套是 Native 文本格式 A 块、K 块、H 块关键字段;第二套是 ModSecurity3 JSON 审计日志全字段,这也是接入 SIEM 最常用的结构。

2.1 Native 格式:A 块(头部)字段详解

A 块是事务的起点,样例:

--41234567-A--
[26/Oct/2025:14:22:31 +0800] 1756242151.123456 192.168.1.100 54123 10.0.0.5 80

字段顺序依次是:

  1. 时间戳:[26/Oct/2025:14:22:31 +0800],事务发生时间;
  2. Transaction ID(事务 ID):1756242151.123456,全局唯一标识,是整条日志最核心的关联键,error.log 告警、审计日志、Nginx access.log 都可以通过这个 ID 关联起来;
  3. 源 IP 地址:客户端 IP;
  4. 源端口:客户端随机端口;
  5. 目标 IP:WAF / 后端服务 IP;
  6. 目标端口:服务端口(80/443)。

事务 ID 是溯源的核心,同一个攻击会话下,攻击者连续发多条 payload,每一条请求都会生成独立 transaction id;如果攻击者一次请求触发多条规则,所有 K 块告警都归属同一个 transaction id,这是我们判断 “同一次请求命中多条规则” 的依据。

2.2 Native 格式:K 块(匹配规则块)字段详解

K 块是告警信息本体,也是大家最关心的部分,样例:

--41234567-K--
SecRuleEngine: On; SecAction "id:900700,phase:1,nolog,pass,msg:'CRS attack detection marker'";
SecRule ARGS "@rx (?i)union.*select" "id:942100,phase:2,deny,log,auditlog,msg:'SQL Injection Attempt - Union Select',tag:'OWASP Top10:A03:2021-Injection',tag:'SQLi',severity:'CRITICAL'";

K 块每一条命中规则包含的信息:

  1. id:规则 SID,CRS 规则以 9 开头,自定义规则建议使用 1000000 以上号段避免冲突;
  2. phase:触发相位,ModSecurity 一共 5 个相位:
    • Phase 1:请求头读取完成,还没解析参数;
    • Phase 2:请求参数解析完成(ARGS、ARGS_GET、ARGS_POST),SQL 注入、XSS 大部分规则在 phase2;
    • Phase 3:请求体读取完成;
    • Phase 4:后端响应头返回;
    • Phase 5:响应体返回,响应检测、信息泄露规则在 phase5;
  3. 动作 action:pass、deny、drop、log、auditlog;deny 拦截,drop 直接断开连接;auditlog 标记这条规则触发审计日志记录;
  4. msg:规则告警描述文本;
  5. tag:标签,CRS 自带 OWASP Top10 标签、攻击类型标签、技术标签;
  6. severity:风险等级,CRITICAL、HIGH、MEDIUM、LOW、NOTICE;
  7. 匹配位置:ARGV、ARGS_GET、ARGS_POST、REQUEST_URI、REQUEST_BODY、REQUEST_HEADERS、COOKIES;
  8. 匹配载荷片段:K 块会附带正则匹配命中的子串,也就是攻击者提交的 payload 片段。

这里有一个高频坑:K 块的匹配载荷片段是截断的,如果 payload 很长,K 块只会截取匹配到的一小段,完整载荷必须去 C 块(请求体)、B 块(请求头)、A 块 URI 里面找,不能只依赖 K 块片段判断攻击。

2.3 Native 格式:H 块(尾部追踪块)字段详解

H 块记录本次事务最终执行结果,决定这个请求有没有被拦住:

--41234567-H--
Action: Intercepted (phase 2)
Stopwatch: 1756242151.123456-1756242151.123510
Producer: ModSecurity for nginx (NGINX)/3.0.10; OWASP CRS/4.0.0;
Server: nginx/1.24.0

关键字段:

  • Action:Intercepted = 拦截成功;Detected = 仅检测(DetectionOnly 模式),没有拦截;Allowed = 放行;
  • Stopwatch:本次 WAF 处理耗时,用来排查慢规则、ReDoS 正则导致的性能问题;
  • Producer:ModSecurity 版本、CRS 版本,审计时可以用来判断规则集版本差异带来的误报;
  • Server:后端 Web 服务版本。

2.4 ModSecurity 3 JSON 审计日志完整字段释义

JSON 结构是现在自动化解析、SIEM 接入的主流,我们梳理核心一级、二级字段,方便后续脚本开发:

{
  "transaction": {
    "time": "26/Oct/2025:14:22:31 +0800",
    "id": "1756242151.123456",
    "client_ip": "192.168.1.100",
    "client_port": 54123,
    "server_ip": "10.0.0.5",
    "server_port": 80,
    "request": {
      "method": "GET",
      "uri": "/search?q=admin' union select 1,2,3-- -",
      "http_version": "HTTP/1.1",
      "headers": {
        "Host": "test.com",
        "User-Agent": "Mozilla/5.0",
        "Cookie": "session=xxx"
      },
      "body": "",
      "args": {
        "q": "admin' union select 1,2,3-- -"
      }
    },
    "response": {
      "status": 403,
      "headers": {
        "Server": "nginx"
      },
      "body": "Access denied"
    },
    "rules": [
      {
        "id": 942100,
        "msg": "SQL Injection Attempt - Union Select",
        "phase": 2,
        "action": "deny",
        "tags": ["SQLi", "OWASP Top10:A03:2021-Injection"],
        "severity": "CRITICAL",
        "match": "union select",
        "match_location": "ARGS_GET:q"
      }
    ],
    "audit_data": {
      "action_taken": "Intercepted",
      "engine_mode": "On"
    }
  }
}

重点字段解读:

  1. transaction.id:事务唯一 ID,关联主键;
  2. request.args:解析后的参数,GET、POST 参数自动拆成键值对,这是 JSON 格式巨大优势,原生文本日志需要自己写代码分割参数;
  3. request.body:原始请求体;
  4. response.status:后端返回 HTTP 状态码,判断攻击是否执行成功;
  5. rules[] 数组:一次请求命中多条规则时,全部放在数组内,不会丢失告警;
  6. match_location:精准标记命中位置,ARGS_GET、REQUEST_BODY、COOKIE、REQUEST_URI;
  7. audit_data.action_taken:最终拦截动作。

重要差异:JSON 格式中 args 是 ModSecurity 解码后的参数,和后端应用解码逻辑可能存在差异,双重编码、特殊 Unicode 字符场景下,JSON 里展示的参数和后端实际拿到的参数会不一致,这也是之前文章讲的 WAF 隐形绕过的日志表现。

2.5 容易被忽略的日志元数据与变量字段

ModSecurity 日志中还存在大量自定义变量,在 K 块、JSON 规则块中会出现:TX、ARGS_NAMES、REQUEST_FILENAME、REQUEST_URI_RAW、MULTIPART_FILENAME。

  • REQUEST_URI:WAF 解码后的 URI;REQUEST_URI_RAW:未经 URL 解码的原始 URI,排查编码绕过、双重编码攻击必须看 RAW 字段;
  • ARGS_NAMES:参数名称,很多攻击是污染参数名、HPP 参数污染,只看参数值会漏掉;
  • TX:事务临时变量,CRS 规则会把评分、异常计数写入 TX,比如 TX.anomaly_score,CRS 异常评分模式下,审计日志里可以看到本次请求的总风险分数,用来做分级告警。

CRS 评分模式(Anomaly Scoring)是生产最常用模式,日志里会出现 TX.sql_injection_score、TX.xss_score、TX.total_anomaly_score,这个分数是后续告警过滤、分级降噪的核心依据。

三、基于审计日志还原攻击行为:溯源方法论与实战案例

看懂字段只是基础,蓝队真正的能力是:拿到一堆审计日志,一步步还原攻击者完整攻击链路,区分:自动化扫描器、弱口令爆破、SQL 注入探测、XSS、文件上传、绕过尝试、误报、真实入侵成功。很多人只会看 sid,分不清 “只是探测” 和 “攻击成功”,导致应急响应判断失误。

3.1 攻击还原四步标准流程

第一步:锁定事务 ID,拉取该事务完整上下文

当 SIEM 或者 error.log 出现一条高危告警,第一步不是直接拉黑 IP,而是拿 transaction.id 在审计日志中检索整条事务,拿到 A/B/C/E/F/H/K/Z 全部部件。
必须核对 4 个信息:

  1. 命中位置:是 GET 参数、POST 参数、Cookie、URI、请求头还是请求体?
  2. 原始载荷:K 块的匹配片段是截断的,去 C 块 /request.body、request.args 拿到完整 payload;
  3. 最终动作:H 块 action 是 Intercepted(拦住)还是 Detected(仅告警放行);
  4. 后端响应状态码、响应体:response.status 200、500、404、403 分别代表不同含义。
第二步:载荷还原与解码,还原攻击者真实意图

载荷经常经过 URL 编码、双重编码、Unicode 编码、注释拆分、大小写变形,日志里看到的是编码后的字符串,需要手动解码还原。
举几个日志里常见的变形载荷:

  1. 原始日志 ARGS:?id=admin%27%20union%20select → URL 解码 admin' union select;
  2. 双重编码:id=admin%2527 → 第一层解码 admin%27,后端二次解码才是 admin';ModSecurity 默认只做一次解码,所以在 REQUEST_URI_RAW 里面才能看到原始双重编码字符串;
  3. 注释拆分载荷:sel/*abc*/ect,WAF 正则匹配拆分关键字,日志匹配片段是 sel 和 ect,分开命中,单看 K 块片段看不懂,拼接完整 body 才知道是拆分注入;
  4. 全角字符、Unicode 等价字符:select,日志明文看起来是 select,但是字符编码不同,部分旧规则无法命中,属于绕过尝试。

这里一个关键结论:判断绕过,不能只看 WAF 有没有告警;要看日志里有没有出现变形载荷,同时 action 是 Detected 放行、后端返回 200。 告警存在不代表拦截成功;没有告警,也不代表没有攻击,可能是规则被绕过。

第三步:同 IP、同 UA、同会话聚合,还原攻击时序

单条事务只能看到单次请求,攻击者的行为是序列:先目录扫描、再探测注入点、再尝试变形绕过、再上传后门、最后回连。我们需要以 源 IP、User-Agent、时间窗口(比如 5 分钟)做聚合,把同一个攻击者的所有事务 ID 串起来,画出攻击时序。

聚合后可以区分攻击类型:

  • 自动化扫描器(Xray、Nuclei、AWVS):短时间大量不同 URI、不同 payload,UA 固定,高频请求,大部分命中规则,WAF 拦截;
  • 人工红队测试:载荷不断变形,第一次普通注入被拦,第二次换成注释拆分,第三次双重编码,不断调整 payload,有明确的绕过试探序列;
  • 爆破攻击:参数是账号密码,payload 重复度高,URI 固定,大量连续请求;
  • 真实入侵成功:某一条请求告警为 Detected 放行,后端返回 200,响应体出现数据库内容、webshell 写入成功标识。
第四步:判定攻击有效性,区分探测 / 成功 / 误报

这是最考验经验的一步,给大家一套判定标准:

  1. 探测类(扫描,无危害):payload 是标准注入、XSS 测试字符串,WAF 拦截(403),后端响应无敏感信息,攻击者只是探测是否存在漏洞;
  2. 绕过尝试(高风险):payload 做编码、注释拆分、HPP 参数污染,WAF 告警或者无告警,action 为 Detected 放行,后端返回 200;
  3. 攻击成功(高危应急):载荷成功执行,响应体返回数据库数据、目录列表、文件写入成功提示,WAF 未拦截或者告警放行;
  4. 误报(良性):请求是业务正常参数,内容和规则正则匹配只是巧合,比如业务搜索框允许用户输入包含 select 的商品名称、文章标题。

3.2 实战案例 1:SQL 注入告警还原,区分扫描和真实注入

审计日志 K 块告警 sid:942100,msg:SQL Injection Attempt,我们检索 transaction id 拿到完整 C 块请求体:

POST /api/search HTTP/1.1
Host: test.com
Content-Type: application/x-www-form-urlencoded
q=test' union select 1,version(),database()-- -

H 块:Action:Intercepted,response.status:403。
结论:这是扫描器注入探测,WAF 成功拦截,风险等级中等,不需要紧急应急,只需要标记 IP 扫描源,按需拉黑。

换另一条日志:同样 sid942100,H 块 Action:Detected,response.status:200,E 块响应体里面出现 5.7.36(MySQL 版本号)。
结论:WAF 处于检测模式,没有拦截,注入成功,属于高危事件,立即隔离 IP、下线接口、排查数据库。

3.3 实战案例 2:误报还原,业务关键字误触发

告警 sid:942100 SQL 注入,payload:select优质水果。
上下文:业务是电商搜索,用户输入商品标题包含中文 “select”,CRS 的小写不敏感正则匹配命中,属于典型误报。
还原之后的处理方案:不能直接全局删除 942100 规则,而是在这个接口路径上加 ctl:ruleRemoveById=942100,精准白名单,这也是日志审计的价值:找到误报的业务路径、参数,做精准豁免,而不是粗暴删规则。

3.4 实战案例 3:HPP 参数污染绕过日志特征

攻击者请求:?a=1&a=union+select
ModSecurity 的 ARGS 解析策略:部分版本默认取第一个参数 a=1,不会命中规则;后端 Java/Python 框架读取最后一个参数 a=union select。
日志特征:审计日志 request.args 里只记录第一个 a=1,K 块没有告警,但是后端拿到恶意参数。
这种场景下,WAF 审计日志看不到恶意 payload,没有告警,属于隐形绕过,单纯依靠 ModSecurity 告警日志无法发现,必须结合 access.log、后端应用日志交叉比对。这也是我们之前讲的 WAF 绕过点,日志审计有边界,不能单靠 WAF 日志做全部检测。

3.5 日志溯源的局限性(必须知道)

  1. 日志截断:超大 body、超长响应体,ModSecurity 会截断,完整载荷丢失;
  2. 解析差异:WAF 参数解码逻辑和后端不一致,部分变形载荷在日志里看不到;
  3. 加密流量:HTTPS 下,WAF 解密之后才能记录内容,如果 WAF 没有配置 SSL 解密,审计日志看不到请求体;
  4. 请求走私:HTTP 走私攻击,恶意载荷脱离 WAF 检测的事务边界,不会写入审计日志;
  5. 日志丢失:磁盘满、权限不足、并发模式存储目录权限错误、日志轮转丢失。

所以应急溯源永远是多日志交叉验证:ModSecurity 审计日志 + Nginx access.log + 后端应用日志 + 数据库慢查询日志,不能单一依赖 WAF 日志。

四、告警风暴根源、误报分类与降噪策略

生产环境开启 CRS 全量规则之后,最常见问题就是告警风暴:一天几万、几十万条告警,安全人员根本看不过来,真正的高危攻击淹没在海量误报里面。很多团队的解决方案粗暴关闭审计日志、关闭高危规则,直接放弃防护。正确思路是:基于审计日志做分类、过滤、降噪,建立分级告警体系。

4.1 ModSecurity 告警风暴的几类来源

  1. 业务正常关键词误匹配(最高占比):搜索、评论、富文本、商品名称、用户昵称自带 SQL、XSS 关键字;
  2. 第三方爬虫、监控脚本、健康检查、内部自动化接口触发规则;
  3. 扫描器批量探测:Nuclei、Xray、AWVS、Shodan 爬虫,批量请求产生大量重复告警;
  4. 规则本身缺陷:正则编写漏洞、宽松正则,之前第一篇文章讲的正则陷阱;
  5. 日志配置问题:SecAuditEngine On,所有请求全部记录,无关正常请求也生成审计日志。

4.2 误报分层治理方案(从日志侧落地)

第一层:基于元数据过滤(前置过滤,成本最低)

过滤维度:请求 URI、请求方法、源 IP 白名单、User-Agent 白名单、内部网段。

  • 内部运维 IP、监控服务器 IP,直接豁免审计告警;
  • 静态资源路径:/js、/css、/img、/font,静态资源几乎不会出现注入攻击,静态路径告警直接标记为低优先级,不推送告警;
  • 健康检查接口、监控接口,白名单路径。
第二层:基于攻击类型、风险评分过滤

CRS 异常评分模式下,依靠 TX.total_anomaly_score 分级:

  • 分数 < 5:低风险,仅入库,不推送告警;
  • 5 ≤ 分数 < 10:中风险,汇总日报,不实时告警;
  • 分数 ≥10:高危,实时推送钉钉 / 企业微信告警。
    同时区分攻击 tag:SQLi、XSS、RCE、文件上传是高危 tag;User-Agent 伪造、协议异常是低危。
第三层:基于载荷语义过滤(精准误报豁免)

同样 sid,区分 payload:

  • payload 是业务正常中文、商品名称、文档内容 → 误报;
  • payload 包含编码、注释、拆分、SQL 函数(version、database、sleep)→ 真实攻击探测;
    这里就需要脚本对载荷做熵值计算、特征匹配,区分良性文本和恶意混淆载荷。高熵字符串(大量随机字符、base64、十六进制编码)恶意概率显著更高。
第四层:聚合去重,扫描器告警合并

同一个源 IP,同一个 sid,5 分钟内重复告警超过 10 次,判定为自动化扫描,合并为一条扫描告警,不再逐条推送,避免刷屏。

4.3 白名单编写原则(避坑)

白名单优先使用路径 + 参数名精准豁免,禁止全局 sid 删除。
错误写法:SecRuleRemoveById 942100 全局删掉 SQL 注入规则;
正确写法:

SecRule REQUEST_FILENAME "@startsWith /api/goods/search" "id:1000001,phase:2,nolog,pass,ctl:ruleRemoveById=942100"

只在商品搜索接口豁免这条规则,其他接口继续防护。而白名单的依据,全部来自审计日志长期沉淀的误报样本。

五、Python 告警过滤 & 解析脚本开发(可直接部署)

这一节提供一套完整可运行脚本,支持两种模式:

  1. 解析 Native 原生文本审计日志,自动切分事务、提取字段、导出报表;
  2. 解析 JSON 格式审计日志,告警过滤、降噪、聚合、输出高危告警,支持白名单、评分过滤、扫描聚合;
    脚本功能:事务切分、字段提取、误报过滤、扫描去重、高危告警输出、导出 csv 报告,适配生产环境离线分析,也可以配合 tail -f 实时消费日志。

脚本说明:脚本仅用于日志本地审计分析,请勿用于未授权流量采集;默认 JSON 模式,兼容 ModSecurity3,附带原生文本简易解析函数;白名单配置独立,可按需扩充。

#!/usr/bin/env python3
# ModSecurity 审计日志解析、告警过滤、降噪脚本
# 支持:JSON审计日志 / Native文本审计日志,事务聚合、误报过滤、扫描去重、高危告警输出
import json
import re
import csv
import time
from collections import defaultdict
import argparse

# ===================== 配置区域,按需修改 =====================
# 白名单配置:白名单IP、白名单URI前缀、豁免SID
WHITE_IP = {"127.0.0.1", "192.168.1.10"}
WHITE_URI_PREFIX = {"/static/", "/health", "/monitor", "/js/", "/css/"}
EXCLUDE_SID = set()
# 高危tag列表,命中实时告警
HIGH_TAGS = {"SQLi", "XSS", "RCE", "FileUpload", "CommandInjection", "PathTraversal"}
# 风险分数阈值
SCORE_ALERT = 10
SCORE_IGNORE = 5
# 扫描聚合窗口:秒,同IP同sid,窗口内超过阈值判定为扫描
SCAN_WINDOW = 300
SCAN_THRESHOLD = 10
# 扫描计数器
scan_counter = defaultdict(lambda: {"count":0, "first_ts":0})
# 输出文件
OUTPUT_CSV = "./modsec_alert_report.csv"
# =============================================================

def is_white_list(transaction: dict) -> bool:
    """白名单判断"""
    client_ip = transaction.get("client_ip", "")
    uri = transaction.get("request", {}).get("uri", "")
    if client_ip in WHITE_IP:
        return True
    for prefix in WHITE_URI_PREFIX:
        if uri.startswith(prefix):
            return True
    return False

def calc_payload_entropy(s: str) -> float:
    """计算字符串香农熵,辅助判断混淆载荷,越高越可疑"""
    import math
    if not s:
        return 0.0
    freq = defaultdict(int)
    for c in s:
        freq[c] += 1
    entropy = 0.0
    length = len(s)
    for count in freq.values():
        p = count / length
        entropy -= p * math.log2(p)
    return entropy

def filter_transaction_json(tx: dict) -> dict | None:
    """单条JSON事务过滤,返回告警对象,无告警返回None"""
    if is_white_list(tx):
        return None
    rules = tx.get("rules", [])
    if not rules:
        return None
    tx_id = tx.get("id", "")
    client_ip = tx.get("client_ip", "")
    ts_str = tx.get("time", "")
    try:
        ts = time.mktime(time.strptime(ts_str, "%d/%b/%Y:%H:%M:%S %z"))
    except Exception:
        ts = time.time()
    high_alert_list = []
    anomaly_score = 0
    for rule in rules:
        sid = rule.get("id")
        if sid in EXCLUDE_SID:
            continue
        tags = rule.get("tags", [])
        msg = rule.get("msg", "")
        match_payload = rule.get("match", "")
        match_loc = rule.get("match_location", "")
        severity = rule.get("severity", "LOW")
        entropy = calc_payload_entropy(match_payload)
        is_high = bool(set(tags) & HIGH_TAGS)
        high_alert_list.append({
            "sid": sid,
            "msg": msg,
            "tags": tags,
            "payload": match_payload,
            "loc": match_loc,
            "severity": severity,
            "entropy": round(entropy,2)
        })
    # 扫描聚合统计
    for alert in high_alert_list:
        key = f"{client_ip}_{alert['sid']}"
        sc = scan_counter[key]
        if ts - sc["first_ts"] > SCAN_WINDOW:
            sc["count"] = 1
            sc["first_ts"] = ts
        else:
            sc["count"] +=1
        alert["is_scan"] = sc["count"] >= SCAN_THRESHOLD
        alert["scan_count"] = sc["count"]
    if not high_alert_list:
        return None
    output = {
        "tx_id": tx_id,
        "time": ts_str,
        "client_ip": client_ip,
        "method": tx.get("request",{}).get("method"),
        "uri": tx.get("request",{}).get("uri"),
        "status": tx.get("response",{}).get("status"),
        "action": tx.get("audit_data",{}).get("action_taken","Unknown"),
        "alerts": high_alert_list,
        "anomaly_score": anomaly_score
    }
    return output

def parse_json_line(line: str):
    """解析单行JSON审计日志"""
    try:
        data = json.loads(line.strip())
        tx = data.get("transaction", {})
        return filter_transaction_json(tx)
    except json.JSONDecodeError:
        return None

def parse_native_log(file_path: str):
    """原生Native文本日志简易解析器(事务按Z分割)
    原生格式解析复杂,生产优先JSON格式,此函数仅用于简单提取
    """
    with open(file_path, "r", encoding="utf-8", errors="ignore") as f:
        buffer = []
        for line in f:
            buffer.append(line)
            if "--Z--" in line:
                full_tx = "".join(buffer)
                buffer = []
                # 简单正则提取A块事务ID、IP、K块sid、msg
                a_reg = re.compile(r'--A--\n\[(.+?)\]\s+(\d+\.\d+)\s+(\d+\.\d+\.\d+\.\d+)\s+(\d+)\s+(\d+\.\d+\.\d+\.\d+)\s+(\d+)')
                k_reg = re.compile(r'id:(\d+).*?msg:\'(.+?)\'')
                a_match = a_reg.search(full_tx)
                k_matches = k_reg.findall(full_tx)
                if a_match:
                    time_str, txid, srcip, srcport, dstip, dstport = a_match.groups()
                    alerts = []
                    for sid,msg in k_matches:
                        alerts.append({"sid":sid,"msg":msg})
                    print(f"[Native Transaction] TXID:{txid} SRC:{srcip} Alert Count:{len(alerts)}")
    return

def main():
    parser = argparse.ArgumentParser(description="ModSecurity Audit Log Filter Script")
    parser.add_argument("--logfile", required=True, help="审计日志文件路径")
    parser.add_argument("--mode", default="json", choices=["json","native"], help="日志格式 json / native")
    parser.add_argument("--tail", action="store_true", help="实时tail消费日志")
    args = parser.parse_args()

    report_rows = []
    if args.mode == "json":
        if args.tail:
            import subprocess
            p = subprocess.Popen(["tail","-f",args.logfile],stdout=subprocess.PIPE,encoding="utf-8",errors="ignore")
            for line in p.stdout:
                res = parse_json_line(line)
                if res:
                    for alert in res["alerts"]:
                        print(f"[ALERT] {res['time']} | IP:{res['client_ip']} | SID:{alert['sid']} | {alert['msg']} | SCAN:{alert['is_scan']}")
                        report_rows.append([
                            res["time"], res["tx_id"], res["client_ip"], res["uri"], res["status"],
                            res["action"], alert["sid"], alert["msg"], alert["payload"], alert["loc"], alert["severity"], alert["is_scan"]
                        ])
        else:
            with open(args.logfile,"r",encoding="utf-8",errors="ignore") as f:
                for line in f:
                    res = parse_json_line(line)
                    if res:
                        for alert in res["alerts"]:
                            print(f"[ALERT] {res['time']} | IP:{res['client_ip']} | SID:{alert['sid']} | {alert['msg']} | SCAN:{alert['is_scan']}")
                            report_rows.append([
                                res["time"], res["tx_id"], res["client_ip"], res["uri"], res["status"],
                                res["action"], alert["sid"], alert["msg"], alert["payload"], alert["loc"], alert["severity"], alert["is_scan"]
                            ])
    elif args.mode == "native":
        parse_native_log(args.logfile)

    # 写入csv报表
    with open(OUTPUT_CSV, "w", newline="", encoding="utf-8-sig") as cf:
        writer = csv.writer(cf)
        writer.writerow(["time","tx_id","client_ip","uri","http_status","action","sid","msg","payload","match_location","severity","is_scan"])
        writer.writerows(report_rows)
    print(f"\n报表导出完成:{OUTPUT_CSV},共 {len(report_rows)} 条告警记录")

if __name__ == "__main__":
    main()

脚本使用示例:

# 离线解析JSON审计日志,导出csv报表
python3 modsec_audit_filter.py --logfile /var/log/modsec/modsec_audit.json --mode json
# 实时tail消费日志,持续过滤告警
python3 modsec_audit_filter.py --logfile /var/log/modsec/modsec_audit.json --mode json --tail
# 解析原生文本日志(仅简易提取)
python3 modsec_audit_filter.py --logfile /var/log/modsec/modsec_audit.log --mode native

脚本扩展方向:对接钉钉 / 企业微信 webhook 推送高危告警、接入 Redis 存储扫描计数、对接 Elasticsearch 写入、增加载荷解码函数(URL 解码、Unicode 解码)、增加自动生成白名单建议。

脚本限制:原生文本日志格式解析复杂度极高,换行、特殊字符、分段错乱问题很多,生产环境强烈建议使用 JSON 审计日志,减少解析成本。

六、日志采集、存储、轮转与 ELK/SIEM 接入最佳实践

6.1 日志轮转配置

审计日志增长速度极快,开启 RelevantOnly 之后,高流量站点单日也会几十 GB 日志,必须配置 logrotate,防止磁盘打满丢失日志:

/var/log/modsec/*.log {
    daily
    rotate 14
    compress
    missingok
    notifempty
    postrotate
        systemctl reload nginx
    endscript
}

保留 14 天审计日志,满足等保、应急溯源取证要求;如果是合规要求高的业务,可以延长至 30-90 天,同步归档到对象存储。

6.2 Filebeat 采集 JSON 审计日志到 ELK

Filebeat 配置核心要点:

filebeat.inputs:
- type: filestream
  paths:
    - /var/log/modsec/modsec_audit.json
  parsers:
    - ndjson:
        overwrite_keys: true
        add_error_key: true
output.elasticsearch:
  hosts: ["http://127.0.0.1:9200"]
  index: "modsec-audit-%{+yyyy.MM.dd}"

JSON 格式天然适配 ndjson 解析,直接把 transaction、rules 字段送入 ES,Kibana 可以直接基于字段做检索、仪表盘:按源 IP 统计、按 sid 统计、高危告警时序图、扫描 IP 排行。

6.3 日志存储与取证规范

应急取证场景,审计日志属于电子证据,禁止直接修改原始日志文件,正确流程:

  1. 对原始日志文件做 cp 复制,计算 md5 哈希留存;
  2. 在副本上做解析、过滤、载荷解码;
  3. 原始日志只读权限,留存哈希值,保证证据不可篡改。

七、结语

ModSecurity 审计日志不是简单的告警流水,它是 WAF 整个防护体系的 “黑匣子”。很多团队把 ModSecurity 当成一个开盒即用的防护组件,只看拦截效果,忽略日志审计能力,等到攻击者绕过规则、入侵业务之后,手里没有任何证据还原攻击路径。

本文从日志配置、Native 与 JSON 字段拆解、攻击还原方法论、误报降噪、落地过滤脚本,完整覆盖审计日志深度分析全链路。我们需要记住几个核心要点:

  1. 审计日志部件配置决定信息量,溯源必须开启 ABCEFHJKZ,不要只用 AHK;
  2. transaction id 是唯一关联键,所有告警、请求、响应依靠这个 ID 串联;
  3. 告警不等于攻击成功,必须结合响应状态码、响应体、载荷变形综合判断;
  4. 告警风暴不能靠删规则、关日志解决,而是基于日志做分层过滤、白名单、扫描聚合;
  5. 原生文本日志解析成本高,ModSecurity3 环境优先切换 JSON 审计日志,自动化解析、SIEM 接入效率大幅提升;
  6. WAF 日志存在固有盲区,溯源必须多源日志交叉验证。

日志审计是蓝队的基本功,看懂日志、还原攻击、持续沉淀误报样本、迭代白名单和规则,才能让 ModSecurity 从 “只会拦的工具” 变成一套可运营、可溯源、持续迭代的 Web 防护体系。

【免责声明】 本文所有日志解析逻辑、Python 脚本、审计分析流程,仅用于授权环境安全审计、蓝队应急演练、WAF 规则运营。ModSecurity 原生日志格式、JSON 字段定义来自 ModSecurity 官方文档与 OWASP CRS公开资料;脚本仅作为日志分析工具,不具备自动防御能力。上线前务必在测试环境验证脚本逻辑,防止日志解析异常、误过滤真实高危告警。使用者自行承担部署、运行脚本带来的全部风险。


最后

关于网络安全技术储备

网络安全是当今信息时代中非常重要的一环。无论是找工作还是感兴趣(黑客),都是未来职业选择中上上之选,为了保护自己的网络安全,学习网络安全知识是必不可少的。

如果你是准备学习网络安全(黑客)或者正在学习,下面这些你应该能用得上:

①网络安全学习路线
②20份渗透测试电子书
③安全攻防357页笔记
④50份安全攻防面试指南
⑤安全红队渗透工具包
⑥网络安全必备书籍
⑦100个漏洞实战案例
⑧安全大厂内部视频资源
⑨历年CTF夺旗赛题解析

一、网络安全(黑客)学习路线

网络安全(黑客)学习路线,形成网络安全领域所有的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

二、网络安全教程视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

三、网络安全CTF实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这里带来的是CTF&SRC资料&HW资料,毕竟实战是检验真理的唯一标准嘛~

img

四、网络安全面试题

最后,我们所有的作为都是为就业服务的,所以关键的临门一脚就是咱们的面试题内容,所以面试题板块是咱们不可或缺的部分,这里我给大家准备的就是我在面试期间准备的资料。

在这里插入图片描述

网安其实不难,难的是坚持和相信自己,我的经验是既然已经选定网安你就要相信它,相信它能成为你日后进阶的高效渠道,这样自己才会更有信念去学习,才能在碰到困难的时候坚持下去。

机会属于有准备的人,这是一个实力的时代。人和人之间的差距不在于智商,而在于如何利用业余时间,只要你想学习,什么时候开始都不晚,不要担心这担心那,你只需努力,剩下的交给时间!

这份完整版的网络安全学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

img

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值