Nginx+OpenResty 自研轻量 WAF 开发:Lua 规则编写、流量采集、拦截逻辑落地

本文详细阐述基于Nginx与OpenResty自研轻量Web应用防火墙(WAF)的完整工程实践,涵盖OpenResty请求生命周期挂载、Lua规则编写(SQL注入/XSS/路径穿越)、流量采集(真实IP/URI/参数)、黑白名单与基础防护、CC攻击限速(共享内存计数)、拦截响应设计、攻击日志审计及误报治理机制,并强调性能优化(正则优化、缓存、热路径避阻)与灰度上线策略,适用于中小团队低成本、高可控性Web安全加固。

⚠️ 法律与合规免责声明
本文所有内容、Lua 代码、规则写法、拦截逻辑、部署方案,仅用于自有无授权业务环境的 Web 应用防护加固、安全研发学习、开源项目研究。
严禁利用本文技术对未授权站点实施恶意扫描、绕过检测、攻击流量构造等违法行为,所有违规操作产生的法律风险与安全后果由行为人自行承担。
本文为 WAF 自研工程向内容,面向防御侧落地,不含攻击载荷与绕过技巧。

前言

很多中小团队一直有一个纠结:商业 WAF 太贵、云 WAF 有规则黑盒、开源 ModSecurity 配置复杂又依赖 Apache/Nginx 特定编译。业务量没到必须上大厂防护的级别,但又不能裸奔在公网。这时候,基于 Nginx + OpenResty 自研一套轻量 WAF 就成了性价比最高的方案。

它不神秘,核心就是:用 OpenResty 在 Nginx 请求处理的各个阶段插入 Lua 逻辑,对请求做检查,命中规则就拦截、记录、限速。相比 ModSecurity,它的优势非常明显 ——逻辑完全可控、规则随业务定制、性能损耗可控、代码看得懂改得动。对运维和懂一点 Lua 的开发来说,这是一条完全走得通的路。

本文不讲空泛概念,直接落到工程:先讲 OpenResty 的请求生命周期与 WAF 架构,再给出完整的目录工程,然后逐段写流量采集、黑白名单、高频防护、SQL 注入 / XSS / 路径穿越规则、拦截响应、日志审计、限速限流的落地代码,最后讲误报治理、性能优化与上线灰度。所有代码均可直接抄进项目跑起来,适合有 Nginx 基础、想自建防护能力的团队阅读。

一、为什么用 OpenResty 做 WAF:技术选型分析

1.1 OpenResty 是什么

OpenResty 是基于 Nginx 与 LuaJIT 的高性能 Web 平台。它在 Nginx 内部嵌入了 Lua 虚拟机,允许开发者在 Nginx 的请求处理流程中编写 Lua 代码,从而在反向代理这一层直接完成请求检查与干预,不需要把流量先转发给后端的独立 WAF 服务。

这意味着所有检查发生在请求进入业务应用之前,攻击流量在 Nginx 层就被拦截,后端业务服务根本接收不到恶意请求,防护效率高、对业务几乎无侵入。

1.2 自研 WAF 对比商业 WAF / 云 WAF / ModSecurity

维度商业 / 云 WAFModSecurityNginx+OpenResty 自研
成本高(按量 / 按域名收费)开源免费,但部署重开源免费,轻量
规则可控性黑盒,无法自定义深层逻辑可写规则,语法陡峭Lua 完全可控
性能损耗云端转发有延迟规则多时损耗明显轻量规则损耗小
与业务耦合弱,独立部署弱强,可深度结合业务
上手难度低中高中(需懂 Nginx+Lua)
定制能力低中极高

自研方案最大的价值,不是替代商业 WAF,而是在低成本前提下拿到完全可控的防护能力,特别适合中低频攻击防护、业务定制规则、内部接口防护等场景。

1.3 自研 WAF 的适用边界与不足

必须诚实说明自研方案的局限:

  • 需要自行维护规则库,没有厂商威胁情报自动更新;
  • 对 0day、未知变体的识别依赖规则覆盖度,不如商业 WAF 的规则引擎全面;
  • Lua 规则写不好可能误伤正常业务;
  • 缺少可视化报表,需要自己搭日志与告警。

因此,自研 WAF 适合作为第一道轻量防线 + 业务定制防护,对核心资产仍建议叠加商业防护形成纵深。但作为学习、内部防护、低成本加固,它完全够用且可控。

二、OpenResty 请求生命周期与 WAF 挂载点

要在正确的时机拦截,必须理解 OpenResty 的请求处理阶段。Lua 代码可以挂载在 Nginx 的不同阶段指令上,每个阶段对应请求处理的不同时刻。

2.1 核心阶段指令

OpenResty 提供一系列 *_by_lua 阶段指令,WAF 主要在下面几个阶段工作:

access_by_lua   # 访问控制阶段,WAF 拦截的核心挂载点
rewrite_by_lua  # 重写阶段,可做参数改写、前置判断
content_by_lua  # 内容生成阶段,可做动态响应
log_by_lua      # 日志阶段,记录拦截、采集流量(不阻塞)

2.2 WAF 各阶段职责划分

一个完整的轻量 WAF,按阶段分工:

阶段职责说明
init_by_lua加载规则、初始化数据结构进程启动时执行一次
access_by_lua主检测与拦截检查 IP、URI、参数、频率,命中即返回拦截
log_by_lua流量采集、日志审计每个请求结束后记录,不阻塞主流程

核心逻辑集中在 access_by_lua,因为这是请求进入业务前的最后一道可控闸门,拦截在这里最干净。

2.3 WAF 处理主流程

一段清晰的 WAF 主流程大致是:

请求进入
  └─ 1. 获取客户端真实 IP
  └─ 2. IP 黑名单 / 白名单判断
  └─ 3. 全局限速(CC 防护)
  └─ 4. URI / 参数恶意特征检测(SQLi / XSS / 路径穿越等)
  └─ 5. 命中则记录 + 拦截返回
  └─ 6. 放行 → 进入后端业务
请求结束
  └─ 采集访问日志 / 攻击日志

按这个流程,规则逻辑清晰、可维护,后续加规则只需在检测段追加。

三、项目工程结构与环境准备

3.1 环境安装(CentOS / Ubuntu)

OpenResty 官方提供仓库,安装很快:

# Ubuntu/Debian
apt-get install -y libpcre3-dev
# 通过 openresty 官方源安装

CentOS 建议直接用官方 yum 源:

# 安装 openresty
# 配置好 openresty 官方 yum 源后
yum install -y openresty

装好后验证:

openresty -v
resty -e 'print("hello lua")'

resty 命令可用于单独调试 Lua 脚本,开发阶段很方便。

3.2 目录工程结构

建议把所有 WAF 相关文件收敛到独立目录,方便管理和上线:

/usr/local/openresty/nginx/conf/waf/
├── init.lua            # 全局初始化,加载配置
├── access.lua          # access_by_lua 入口,主检测流程
├── log.lua             # log_by_lua,日志采集
├── config.lua          # 开关、阈值、规则集配置
├── lib/
│   ├── ip.lua          # IP 黑白名单与限速逻辑
│   ├── detect.lua      # 恶意特征检测(SQLi/XSS/路径穿越)
│   ├── freq.lua        # 频率控制(CC 防护)
│   └── util.lua        # 通用工具函数
└── rules/
    ├── sqli_rules.lua      # SQL 注入特征规则
    ├── xss_rules.lua       # XSS 特征规则
    └── path_rules.lua      # 路径穿越 / 敏感文件规则

规则与逻辑分离,是自研 WAF 保持可维护的关键:改规则不动逻辑,改逻辑不动规则。

3.3 Nginx 配置挂载

在 server 或 location 块挂载 WAF:

server {
    listen 80;
    server_name example.com;

    # 开启 WAF
    access_by_lua_file /usr/local/openresty/nginx/conf/waf/access.lua;
    # 日志采集
    log_by_lua_file  /usr/local/openresty/nginx/conf/waf/log.lua;

    location / {
        proxy_pass http://backend;
    }
}

上线初期建议 access.lua 内提供 RUN_MODE 开关,先跑 detect(仅记录不拦截),确认无误报再切 block。

四、流量采集:拿到真实、干净的请求数据

做 WAF 的第一步不是拦截,而是把请求看清楚。采集阶段决定了后续检测的质量。

4.1 获取客户端真实 IP

多层代理下,REMOTE_ADDR 可能是 Nginx 或 CDN 的 IP,需要解析 X-Forwarded-For。但要防伪造,不能盲目信任请求头。

-- util.lua
local function get_client_ip()
    local headers = ngx.req.get_headers()
    local xff = headers["X-Forwarded-For"]
    if xff then
        -- 取最左的非空地址,需结合信任代理配置
        local first = ngx.re.match(xff, "^%s*([%d%.]+)")
        if first then return first[1] end
    end
    return ngx.var.remote_addr
end

安全提示:生产环境建议在 CDN / 源站之间约定,只信任来自可信上游的 X-Forwarded-For,否则攻击者可伪造 IP 绕过 IP 黑名单。

4.2 采集 URI、参数、请求头

local function collect_request()
    local req = {}
    req.method = ngx.req.get_method()
    req.uri   = ngx.var.request_uri
    req.args  = ngx.req.get_uri_args()          -- GET 参数
    req.headers = ngx.req.get_headers()
    -- POST 参数需要读取请求体
    ngx.req.read_body()
    local body = ngx.req.get_body_data()
    if body then
        req.body = body
    end
    return req
end

4.3 注意:GET 参数与 POST 体的区分

不同攻击出现位置不同:SQL 注入可能在 GET 参数、POST 表单、JSON body;XSS 可能在参数、cookie、Referer。检测时要把可被用户控制的输入都纳入检测,而不仅仅看 URI。

采集阶段的输出,是一份包含 method / uri / args / body / headers / client_ip 的请求快照,后续所有规则都基于这份快照判断。

五、黑白名单与基础防护逻辑

5.1 IP 白名单 / 黑名单

白名单优先,命中直接放行;黑名单命中直接拦截。

-- ip.lua
local config = require "waf.config"

local ip_list = {
    whitelist = config.whitelist_ips,   -- { "1.2.3.4", "5.6.7.8" }
    blacklist = config.blacklist_ips    -- { "9.9.9.9" }
}

local function is_in_list(ip, list)
    for _, v in ipairs(list) do
        if v == ip then return true end
    end
    return false
end

function ip_filter(client_ip)
    if is_in_list(client_ip, ip_list.whitelist) then
        return "pass"           -- 白名单,跳过后续检测
    end
    if is_in_list(client_ip, ip_list.blacklist) then
        return "block"          -- 黑名单,拦截
    end
    return "continue"
end

设计原则:白名单通常用于内部运维、可信爬虫、API 调用方;黑名单用于已确认的攻击源,从攻击日志、封禁后台回填。

5.2 方法白名单

只放行业务允许的 HTTP 方法,拦截 TRACE、CONNECT 等少见危险方法:

local allow_methods = { GET = true, POST = true, PUT = true, DELETE = true }
if not allow_methods[ngx.req.get_method()] then
    return true  -- 拦截
end

5.3 URI 路径校验

拦截敏感路径、后台暴露路径、备份文件路径等:

local sensitive_path = {
    "/\.bak", "/\.sql", "/\.git", "/\.env", "/web.config", "/\.svn",
    "/phpmyadmin", "/admin/login", "/\.DS_Store"
}
for _, p in ipairs(sensitive_path) do
    if ngx.re.match(req.uri, p, "io") then
        return true  -- 命中敏感路径
    end
end

六、恶意特征检测:SQL 注入 / XSS / 路径穿越规则编写

这是 WAF 的核心能力。Lua 规则写法灵活,关键是把正则规则与请求数据结合,统一收敛到检测函数。

6.1 SQL 注入规则

SQL 注入特征很多,规则要兼顾命中率与误报率。采用 “正则匹配参数值 + 大小写不敏感” 的写法:

-- detect.lua
local sqli_patterns = {
    -- 联合查询 / 报错 / 布尔注入
    "union\\s+(all\\s+)?select",
    "information_schema",
    "sleep\\s*\\(",
    "updatexml\\s*\\(",
    "extractvalue\\s*\\(",
    "and\\s+1=1", "or\\s+1=1",
    "\\/\\*.*\\*\\/",          -- 注释混淆
    "concat\\s*\\(",
    "group\\s+by\\s+concat",
    "load_file\\s*\\(",
}

local function has_sqli(args, body)
    local targets = {}
    for _, v in pairs(args or {}) do table.insert(targets, tostring(v)) end
    if body then table.insert(targets, body) end
    for _, t in ipairs(targets) do
        for _, pat in ipairs(sqli_patterns) do
            if ngx.re.find(t, pat, "io") then
                return true, pat
            end
        end
    end
    return false
end

误报治理点:业务中若允许用户输入包含 “order by”、“1=1” 等普通文案(例如搜索框、富文本),会误命中。解决:把高置信特征(information_schema、sleep (、updatexml ()与低置信特征(1=1)分级,分级给分,超过阈值才拦截,这与 ModSecurity 异常分思路一致。

6.2 XSS 规则

XSS 检测关注脚本标签与事件属性。注意过滤 <script>、onerror、javascript: 等:

local xss_patterns = {
    "<script[^>]*>",
    "onerror\\s*=",
    "onclick\\s*=",
    "onload\\s*=",
    "javascript\\s*:",
    "<iframe[^>]*>",
    "alert\\s*\\(",
    "expression\\s*\\(",
}

local function has_xss(args, body)
    -- 同上遍历逻辑,匹配 xss_patterns
end

误报治理点:富文本编辑器、评论区、个人简介允许 HTML,会大量命中 onerror/onload。建议对这类路径单独放行或用白名单参数豁免(见第七节误报治理)。

6.3 路径穿越 / 目录遍历规则

检测 ../、..%2f 等编码穿越:

local traversal_patterns = {
    "\\.\\./",
    "\\.\\.\\\\",
    "..%%2f",         -- URL 编码
    "%%2e%%2e%%2f",
}

local function has_traversal(uri, args)
    -- 对 uri 和解码后的参数匹配
end

注意:Nginx 层拿到的 URI 可能未解码,需要同时检测原始与解码后形态,避免 %2e%2e/ 绕过。

6.4 统一检测入口

把各检测函数收敛到一个总入口,便于管理和扩展:

-- access.lua 主流程
local function detect(req)
    -- 1. 路径穿越
    if has_traversal(req.uri, req.args) then
        return "traversal"
    end
    -- 2. SQL 注入
    local hit, pat = has_sqli(req.args, req.body)
    if hit then return "sqli:" .. pat end
    -- 3. XSS
    if has_xss(req.args, req.body) then
        return "xss"
    end
    return nil
end

七、CC 攻击防护:基于频率的限速限流

除了特征拦截,自研 WAF 还需要行为防护—— 对高频访问做限速,抵御 CC 攻击、恶意刷接口。

7.1 基于共享内存的计数

OpenResty 用 lua_shared_dict 做进程间共享计数,实现单机限速:

# nginx.conf
lua_shared_dict waf_limit 10m;   # 共享内存,存计数
-- freq.lua
local limit = ngx.shared.waf_limit

local function check_freq(client_ip)
    local key = "freq:" .. client_ip
    local cur = limit:get(key) or 0
    if cur >= config.max_req_per_min then
        return true  -- 超频,拦截
    end
    limit:incr(key, 1, 0)
    -- 设置过期时间(每分钟重置)
    limit:expire(key, 60)
    return false
end

7.2 多维度限速(IP + URI + 账号)

更精细的做法是按 “IP + 请求路径” 组合限速,避免单个爬虫 IP 拖垮整站,也避免误伤正常用户:

local key = "freq:" .. client_ip .. ":" .. req.uri

业务接口(如登录、验证码)可单独设置更严格阈值:

  • 登录接口:同一 IP 1 分钟 10 次;
  • 普通页面:同一 IP 1 分钟 120 次;
  • 静态资源:不限制。

分布式场景:单机 shared_dict 只在单台生效,多机需借助 Redis(lua-resty-redis)做中心化计数,架构上要注意。

八、拦截响应与告警

8.1 拦截响应设计

命中规则后,返回一个统一的拦截页面,不建议直接暴露后端错误信息:

function block_response(reason)
    ngx.status = 403
    ngx.header["Content-Type"] = "text/html; charset=utf-8"
    ngx.say("请求已被安全策略拦截:" .. tostring(reason))
    ngx.exit(ngx.HTTP_OK)
end

可用 JSON 格式便于前端识别:ngx.header["Content-Type"]="application/json"; ngx.say('{"code":403,"msg":"blocked"}')。

8.2 攻击日志落盘

命中攻击时,在 access_by_lua 里同步写一条攻击日志,独立于普通访问日志:

function log_attack(client_ip, uri, reason)
    local log_str = string.format(
        "[%s] %s %s %s",
        os.date("%Y-%m-%d %H:%M:%S"), client_ip, uri, reason
    )
    local f = io.open(config.attack_log_path, "a")
    if f then
        f:write(log_str .. "\n")
        f:close()
    end
end

生产建议:攻击日志直接打到独立文件,或用 log_by_lua 转发到消息队列 / 日志平台,方便后续统计告警。

8.3 主动封禁

对确认的攻击源(如爆破、高频攻击),可动态加入黑名单并写入共享内存,实现内存级封禁:

limit:set("ban:" .. client_ip, 1, config.ban_duration)

后续请求先查 ban: 前缀,命中即拦截,比每次正则检测更高效。

九、日志审计与流量采集落地

9.1 log_by_lua 采集访问数据

在 log_by_lua 阶段(请求结束后、不阻塞)记录完整访问信息,用于统计、溯源、误报分析:

-- log.lua
local function write_access_log()
    local client_ip = get_client_ip()
    local uri = ngx.var.request_uri
    local status = ngx.status
    local ua = ngx.var.http_user_agent
    -- 拼接写入访问日志文件
    -- 或使用 resty.http 转发到日志服务
end

9.2 误报分析字段

为了让误报治理有据可依,攻击日志里要记录完整上下文:命中规则、请求参数、UA、时间,而不只是 “拦截了”。这样排查误报时能还原真实请求。

9.3 与现有监控打通

建议把 WAF 日志输出为标准 JSON,对接 ELK / 告警平台,实现攻击实时告警、趋势统计,让 WAF 从 “拦截器” 升级为 “观测点”。

十、误报治理:让 WAF 越用越准

误报是自研 WAF 最大的敌人,误报多会导致业务被误伤、防护被关闭。建立一套治理机制非常重要。

10.1 分级检测,降低误杀

把规则按置信度分级,采用异常分累加而非单规则一票拦截:

-- 高置信规则(如 information_schema)直接拦
-- 低置信规则(如 1=1、order by)仅累分
local score = 0
if high_confidence_hit then score = score + 3 end
if low_confidence_hit  then score = score + 1 end
if score >= config.block_threshold then block() end

这能显著减少把普通含 “1=1” 的业务请求误杀的情况。

10.2 路径白名单 / 参数豁免

对富文本、评论、搜索等合法含攻击特征的业务路径,单独豁免:

local exempt_paths = { "/api/comment", "/api/editor", "/search" }
for _, p in ipairs(exempt_paths) do
    if req.uri:sub(1, #p) == p then return "pass" end
end

10.3 灰度上线,先记录后拦截

在 config 中提供模式开关,上线初期用 detect 模式(只记录不拦),观察误报清单,治理稳定后切 block:

config.run_mode = "detect"   -- "detect" 或 "block"
-- 命中时:
if config.run_mode == "detect" then
    log_attack(ip, uri, reason)   -- 只记录
else
    block_response(reason)        -- 拦截
end

10.4 误报台账

每次误报都记录:命中规则、业务场景、正常请求样例、处置方式。积累成业务专属豁免规则,让 WAF 越用越贴合业务。

十一、性能优化与工程要点

11.1 减少正则开销

正则匹配是主要性能开销,优化手段:

  • 用 ngx.re.find 而非 Lua 原生 string 匹配,走 PCRE;
  • 命中即短路,避免全规则遍历;
  • 高频请求(静态资源)直接跳过特征检测,仅做 IP 与限速。

11.2 共享内存合理分配

lua_shared_dict 大小按并发与过期时间评估,避免内存写满导致计数失效。

11.3 避免在热路径阻塞

access_by_lua 尽量同步、轻量;重活(日志转发、外部查询)放到 log_by_lua 或异步(ngx.timer),不影响请求主链路。

11.4 缓存已判定结果

对幂等的恶意特征可用短期缓存,同一参数重复请求不重复正则匹配,降低 CPU。

十二、上线灰度与运维建议

12.1 灰度步骤

  1. 先在测试环境、低流量节点跑 detect 模式,观察误报与性能;
  2. 收集一周真实流量,治理误报清单;
  3. 切 block,先在非核心域名试点;
  4. 逐步覆盖全站,持续观测。

12.2 规则迭代机制

规则写进独立文件,热更新通过 ngx.timer 定时重载或配置管理平台下发,改规则不重启 Nginx,保证高可用。

12.3 告警与应急

建立攻击告警:单 IP 高频命中、新特征爆发、规则命中突增都触发告警。发现规则误伤,能快速全局回滚到上一版本规则集。

十三、总结

基于 Nginx + OpenResty 自研轻量 WAF,是一条完全可行、成本极低、完全可控的防护路线。它的核心不是堆规则,而是把 “采集 → 检测 → 拦截 → 记录 → 治理” 这条链路的工程做扎实:

  • 用 access_by_lua 在请求进业务前完成 IP、方法、路径、参数特征检测;
  • 用规则文件与检测逻辑分离,保持可维护;
  • 用共享内存实现 CC 限速;
  • 用分级检测与豁免机制治理误报;
  • 用 log_by_lua 做流量采集与攻击审计;
  • 用灰度上线与规则热更新保证生产稳定。

它替代不了商业 WAF 的威胁情报与规则引擎,但作为第一道轻量防线、业务定制防护、成本可控的加固方案,价值非常实在。对于想深入理解 WAF 原理、想低成本加固业务的团队,这条路值得走通并持续迭代。


最后

关于网络安全技术储备

网络安全是当今信息时代中非常重要的一环。无论是找工作还是感兴趣(黑客),都是未来职业选择中上上之选,为了保护自己的网络安全,学习网络安全知识是必不可少的。

如果你是准备学习网络安全(黑客)或者正在学习,下面这些你应该能用得上:

①网络安全学习路线
②20份渗透测试电子书
③安全攻防357页笔记
④50份安全攻防面试指南
⑤安全红队渗透工具包
⑥网络安全必备书籍
⑦100个漏洞实战案例
⑧安全大厂内部视频资源
⑨历年CTF夺旗赛题解析

一、网络安全(黑客)学习路线

网络安全(黑客)学习路线,形成网络安全领域所有的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

二、网络安全教程视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

三、网络安全CTF实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这里带来的是CTF&SRC资料&HW资料,毕竟实战是检验真理的唯一标准嘛~

img

四、网络安全面试题

最后,我们所有的作为都是为就业服务的,所以关键的临门一脚就是咱们的面试题内容,所以面试题板块是咱们不可或缺的部分,这里我给大家准备的就是我在面试期间准备的资料。

在这里插入图片描述

网安其实不难,难的是坚持和相信自己,我的经验是既然已经选定网安你就要相信它,相信它能成为你日后进阶的高效渠道,这样自己才会更有信念去学习,才能在碰到困难的时候坚持下去。

机会属于有准备的人,这是一个实力的时代。人和人之间的差距不在于智商,而在于如何利用业余时间,只要你想学习,什么时候开始都不晚,不要担心这担心那,你只需努力,剩下的交给时间!

这份完整版的网络安全学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

img

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值