实战:使用 Nginx 限流

Nginx限流实战:从漏桶算法到分布式集群防护 在分布式系统与高并发场景中,流量控制是保障服务稳定性的核心技术之一。其核心原理基于经典的限流算法模型,如漏桶算法与令牌桶算法,通过平滑或整形请求流量,防止突发流量击穿后端服务。这项技术的工程价值在于,它能在网关层以较低成本构建第一道防线,有效抵御CC攻击、恶意爬虫及突发流量对系统资源的过度消耗。典型的应用场景包括API接口防护、防止暴力破解、以及保障核心服务的SLA。本文将深入解析Nginx的`limit_req`与`limit_conn`模块,探讨其基于**漏桶算法**的实现机制,并针对**分布式环境** 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 8:55 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:深入浅出大型网站架构设计

Nginx不仅可以做Web服务器、做反向代理、负载均衡,还可以做限流系统。此处我们就Nginx为例,介绍一下如何配置一个限流系统。

Nginx使用的限流算法是漏桶算法。

(1)是安装Nginx。Nginx的安装我们在8.5.7中已经详细叙述过,此处简单再提一下:

如果你的Linux是Ubuntu或Debian,使用apt-get安装,在命令行中输入以下命令:

$ sudo apt-get update
$ sudo apt-get install nginx

如果是CentOS,使用yum安装,在命令行中输入以下命令:

$ sudo yum install epel-release
$ sudo yum update
$ sudo yum install nginx

(2)找到Nginx所使用的配置文件所在的位置。在Ubuntu和Debian是在如下位置:

$ cd /etc/nginx/sites-available/

而CentOS则是在如下位置:

$ cd /etc/nginx/conf.d/

(3)在http块中,配置基础的限流配置:

01 http
{02     limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
03
04     server {
05         location /test/ {
06             limit_reqzone=mylimit;
07
08             proxy_passhttp://backend;
09         }
10     }
11 }

其中4到8行定义的是一个服务器接口。而第2行和第6行配合完成了一个限流设置,下面解释一下这两行做的事情:

limit_req_zone命令在Nginx的配置文件中专门用于定义限流,它必须被放在http块中,否则无法生效,因为该命令只在http中被定义。

该字段包含三个参数:

第一个参数,就是键(key),即值$binary_remote_addr所在的位置,它代表的是我们的限流系统限制请求所用的键。

此处,我们使用了$binary_remote_addr,它是Nginx内置的一个值,代表的是客户端的IP地址的二进制表示。因此换言之,我们的示例配置,是希望限流系统以客户端的IP地址为键进行限流。

对Nginx有经验的读者可能还知道有一个Nginx内置值为binary_remote_addr是Nginx的社区推荐用值,因为它是二进制表达,占用的空间一般比字符串表达的$remote_addr要短一些,在寸土寸金的限流系统中尤为重要。

第二个参数是限流配置的共享内存占用(zone)。为了性能优势,Nginx将限流配置放在共享内存中,供所有Nginx的进程使用,因为它占用的是内存,所以我们希望开发者能够指定一个合理的、既不浪费又能存储足够信息的空间大小。根据实践经验,1MB的空间可以储存16000个IP地址。

该参数的语法是用冒号隔开的两个部分,第一部分是给该部分申请的内存一个名字,第二部分是我们希望申请的内存大小。

因此,在该声明中,我们声明了一个名叫mylimit(我的限制)的内存空间,然后它的大小是10M,即可以存储160000个IP地址,对于实验来说足够了。

第三个配置就是访问速率(rate)了,格式是用左斜杠隔开的请求数和时间单位。这里的访问速率就是最大速率,因此10r/s就是每秒10个请求。通过这台Nginx服务器访问后端服务器的请求速率无法超过每秒10个请求。

注意到第5行声明了一个资源位置/test/,因此我们第6行的配置就是针对这个资源的,通俗地说,我们在第6行的配置是针对特定API的,这个API就是路径为/test/的API,而其真正路径就是第8行声明的http://backend。注意,这个URL是不存在的,实际操作中,读者需要将它换成你已经开发好的业务逻辑所在的位置,Nginx在这里的作用只是一个反向代理,它自己本身没有资源。

第6行中,我们使用limit_req命令,声明该API需要一个限流配置,而该限流配置所在位置(zone)就是mylimit。

这样一来,所有发往该API的请求会先读到第6行的限流配置,然后根据该限流配置mylimit的名称找到声明在第2行的参数,然后决定该请求是否应该被拒绝。

但是这样还不够。不要忘了,Nginx使用的漏桶算法,不是时间窗口算法,我们前文介绍中说过,漏桶算法是有两个参数可以配置的!

(4)配置峰值。Nginx漏桶算法的峰值属性在API中设置。参数名为burst。如下:

01 http {
02     limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
03
04     server {
05         location /test/ {
06             limit_reqzone=mylimit burst=20;
07
08             proxy_passhttp://backend;
09         }
10     }
11 }

在第6行中,我们只需要在声明limit_req的同时,指定burst就可以了,此处我们指定burst为20,即漏桶算法中我们的“桶”最多可以接受20个请求。

这样一个Nginx的限流系统就配置完毕了,但实际操作中,我们还可能需要很多别的功能,下面笔者就介绍几个很有用的配置技巧。

1. 加快Nginx转发速度

相对于传统的漏桶算法慢吞吞地转发请求的缺陷,Nginx实现了一种漏桶算法的优化版,允许开发者指定快速转发,而且还不影响正常的限流功能。开发者只需要在指定limit_req的一行中指定burst之后指定另一个参数nodelay,就可以在请求总数没有超过burst指定值的情况下,迅速转发所有请求了。如下所示:

01 http {
02     limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
03
04     server {
05         location /test/ {
06             limit_reqzone=mylimit burst=20 nodelay;
07
08             proxy_passhttp://backend;
09         }
10     }
11 }

读者可能会担忧:这种情况下,会不会出现所有请求都被快速转发,然后接下来又有没有超过burst数量的请求出现,再次被快速转发,就好像固定窗口算法的漏洞一样,从而超过我们本来希望它能限制到的上限数量呢?答案是不会。Nginx的快速转发是这样实现的:

·    当有没有超过burst上限的请求数量进入系统时,快速转发,然后将当前桶中可以填充的数量标为0;

·    按照我们设置的rate在1秒中内缓慢增加桶中余额,以我们的配置为例,每隔100毫秒,增加1个空位;

·    在增加空位的过程中,进来超过空位数量的请求,直接拒绝。

举例而言,配置如上所示,假如在某个瞬时有25个请求进入系统,Nginx会先转发20个(或21个,取决于瞬时情况),然后拒绝剩下的4个请求,并将当前桶中数量标为0,然后接下来的每100毫秒,缓慢恢复1个空位。

这样我们可以看到,Nginx既做到了快速转发消息,又不会让后端服务器承担过多的流量。

2. 为限流系统配置日志级别

限流系统会提前拒绝请求,因此,我们在业务服务器上是肯定看不到这些请求的。假如我们收到一个报告说某用户在使用网站的时候出现错误,但是我们在业务服务器上又找不到相关的日志,我们如何确定是不是限流造成的呢?

只有限流系统的日志才能说明问题。因此,我们需要Nginx打印出它拒绝掉的请求的信息。但同时,Nginx打印的限流日志默认是错误(error),如果我们设置了一个基于日志错误扫描的警报,它扫到的限流错误,真的是我们希望给自己发警报的情况吗?

配置请求的位置就在资源中,使用的命令是limit_req_log_level,如下:

01 http {
02     limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
03
04     server {
05         location /test/ {
06             limit_reqzone=mylimit burst=20;
07            limit_req_log_level warn;
08
09             proxy_passhttp://backend;
10         }
11     }
12 }

在第7行中,我们将Nginx的日志改为了警告(warn)。

3. 更换Nginx的限流响应状态码

前文我们就说过,从语义上来说,限流的HTTP标准响应状态码是429,但是如果读者拿上述的配置文件直接去测试,会发现Nginx返回的是503(服务不可用)。到底应该返回什么状态码,是一个偏程序哲学的问题,此处我们不讨论,我们只讨论:如何让Nginx返回我们指定的状态码?

答案也是在同一个资源中,它的配置命令是limit_req_status,然后我们指定它为429即可:

01 http {
02     limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
03
04     server {
05         location /test/ {
06             limit_reqzone=mylimit burst=20;
07            limit_req_log_level warn;
08            limit_req_status 429;
09
10             proxy_passhttp://backend;
11         }
12     }
13 }

除了以上功能以外,Nginx还支持很多复杂先进的限流功能,感兴趣的读者可以访问https://docs.nginx.com/nginx/admin-guide/security-controls/controlling-access-proxied-http/作进一步的了解。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

兄弟,艿一口,点个赞!????

Nginx+Lua限流实战:防止你的API被羊毛党刷爆 本文详细介绍了如何使用Nginx+Lua实现动态令牌桶限流技术,有效防止API被羊毛党刷爆。通过实战案例和优化策略,展示了如何在高并发场景下提升恶意请求拦截率至99.8%,同时保障正常用户体验。文章还涵盖了压力测试、参数调优及分布式环境下的限流方案对比。 阅读详情

相关推荐

Nginx限流实战:从漏桶算法到生产环境配置详解

在高并发系统架构中,流量控制是保障服务稳定性的核心技术。其核心原理是通过算法模型对请求速率进行限制,防止突发流量压垮后端服务。从技术价值看,有效的限流能够避免雪崩效应,提升系统韧性,确保核心业务的高可用性。常见的应用场景包括API接口防护、防止爬虫滥用、秒杀活动流量削峰等。Nginx作为高性能Web服务器,其内置的限流模块提供了强大的流量控制能力。本文深入解析Nginx的漏桶算法实现,并结合实际配置案例,详细讲解如何在生产环境中部署和调试限流策略,帮助开发者构建稳健的Web服务架构。

weixin_30786657的博客 493

nginx限流配置

限流(Rate Limitting)是服务降级的一种方式,通过限制系统的输入和输出流量以达到保护系统的目的。

ThinkStu的博客 10万+

Nginx限流实战:连接数与请求速率防护配置详解

在高并发分布式系统中,流量控制是保障服务稳定性的核心技术之一。其核心原理是通过算法(如漏桶、令牌桶)对请求或连接进行整形,平滑突发流量,防止后端资源过载。这项技术的核心价值在于,它能以较低的成本在网关层构建防护屏障,避免因流量洪峰导致的服务雪崩,是实现系统高可用的关键实践。典型的应用场景包括:防护API接口被恶意刷取、保障核心交易链路、以及应对营销活动带来的突发流量。本文将以Nginx为例,深入解析其内置的`ngx_http_limit_conn_module`和`ngx_http_limit_req_mo

weixin_33875839的博客 534

Nginx——限流配置

限流(Rate Limitting)是服务降级的一种方式,通过限制系统的输入和输出流量以达到保护系统的目的。比如我们的网站暴露在公网环境中,除了用户的正常访问,网络爬虫、恶意攻击或者大促等突发流量都可能都会对系统造成压力,如果这种压力超出了服务器的处理能力,会造成响应过慢甚至系统崩溃的问题。因此,当并发请求数过大时,我们通过限制一部分请求(比如限制同一IP的频繁请求)来保证服务器可以正确响应另一部分的请求。nginx 提供了两种限流方式,一种是限制请求速率,一种是限制连接数量。

吴声子夜歌的博客 5687

GD32模拟IIC读写DVC1124

GD32模拟IIC读写集澈AFE芯片DVC1124

ponyma_的博客 1227

利用Python脚本生成IDA Pro许可证文件idapro.hexlic的完整指南

本文提供了一份详细的Python脚本指南,用于自动化生成IDA Pro的许可证文件idapro.hexlic。文章深入解析了脚本原理,包括构建许可证JSON、RSA密钥修补与签名生成机制,并附有完整的操作流程与常见问题排查,帮助逆向工程人员快速完成本地化许可部署。

weixin_29313547的博客 615

Nginx额外篇之实现Nginx限流(运维篇)

目录 1.产生背景 2.限流原理(简介) 3.Nginx实现限流的方式 3.1 模块介绍 3.2 模块指令实战 1.设置共享内存区域和允许的最大并发数。当超过此限制时,服务器将返回错误以响应请求。由ngx_http_limit_conn_module模块提供此功能。 2.对单个ip进行限流,只是表现在对请求次数的限制,但是并非所有连接都被计数。只有被服务器处理的用户请求连接,才会被进...

忆的博客 5608

稳定双共轭梯度法BiCGSTAB流程

稳定双共轭梯度法BiCGSTAB流程

abner361的博客 1155

Nginx限流优化

Nginx限流优化

啊啊啊啊建的博客 1421

centos7 清理缓存

一、系统环境 系统版本 CentOS Linux release 7.3.1611 (Core) 内核版本 Linux xx-user 3.10.0-514.el7.x86_64 #1 SMP 背景 服务器分配的账号是普通用户,只能执行sudo命令 二、缓存查看及基本概念 查看内存使用情况 [user01@xx-user ~]$ free -h total used free shared buff/cache availabl

sunzq55的博客 4007

避坑指南:你的VASP CI-NEB计算为什么不收敛?常见错误分析与解决思路

本文深入解析VASP CI-NEB计算不收敛的常见问题,提供从结构准备到参数设置的系统解决方案。针对过渡态计算中的能量曲线异常、中间图像偏离等典型问题,详细介绍了诊断方法和实用工具,帮助研究者高效解决CI-NEB收敛难题,提升计算效率。

weixin_29698641的博客 435

Nginx之限流

指定location拒绝所有请求deny all;前文已经涵盖了 Nginx 和 Nginx Plus 提供的“流量限制”的很多功能,包括为 HTTP 请求的不同 loation 设置请求速率,给“流量限制”配置 burst 和 nodelay 参数。还涵盖了针对客户端 IP 地址的白名单和黑名单应用不同“流量限制”的高级配置,阐述了如何去日志记录被拒绝和延时的请求。

weixin_51216079的博客 49万+

立创开源TinyAWG:基于ZYNQ7010的35MHz带宽200MSa/s任意波形发生器设计与实现

本文详细解析了立创开源TinyAWG的设计与实现,这是一款基于ZYNQ7010芯片的低成本高性能任意波形发生器。项目实现了35MHz带宽和200MSa/s采样率,核心采用ARM+FPGA协同架构,FPGA负责高速DDS信号生成,ARM运行Linux并搭载LVGL图形界面。文章涵盖了硬件选型、电路设计、软件逻辑及性能测试,为复刻和学习ZYNQ系统设计、高速DAC应用提供了完整参考。

weixin_42576467的博客 438

实战:使用Nginx限流

Nginx不仅可以做Web服务器、做反向代理、负载均衡,还可以做限流系统。此处我们就Nginx为例,介绍一下如何配置一个限流系统。 Nginx使用的限流算法是漏桶算法。 (1)是安装Nginx。Nginx的安装我们在8.5.7中已经详细叙述过,此处简单再提一下: 如果你的Linux是Ubuntu或Debian,使用apt-get安装,在命令行中输入以下命令: $ sudo apt-get update $ sudo apt-get install nginx 如果是CentOS,使用yum安装,

勇往直前的专栏 718

【C语言】程序员筑基功法——《函数栈帧的创建与销毁》

汇编角度带你走进函数栈帧

StackFrame 3666

Python爬虫实战:爬取国家气象局台风路径数据的完整教程

国家气象局(如中国气象局)一般会在官方网站公布台风的实时路径,包括台风编号、名称、时间点、经纬度、中心气压、最大风速等信息。这些数据以图形和表格的形式呈现,有时以JSON或CSV文件形式下载。爬取这类数据,有助于构建台风数据库、历史路径分析、趋势预测等应用。本文详细介绍了如何通过Python爬取国家气象局发布的台风路径数据,涵盖了数据采集、解析、存储和可视化全流程。通过实践,你可以构建自己的台风数据库,结合机器学习开展路径预测和风险评估等高级分析。后续可结合深度学习技术,实现台风轨迹预测;

2201_76125261的博客 1028

nginx 请求转发_实战:使用Nginx限流

注:文末有送书福利!!!Nginx不仅可以做Web服务器、做反向代理、负载均衡,还可以做限流系统。此处我们就Nginx为例,介绍一下如何配置一个限流系统。Nginx使用的限流算法是漏桶算法。(1)是安装Nginx。Nginx的安装我们在8.5.7中已经详细叙述过,此处简单再提一下:如果你的Linux是Ubuntu或Debian,使用apt-get安装,在命令行中输入以下命令:$ sud...

weixin_39928667的博客 433

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

NGINX限流机制实战:从原理到电商大促防护

流量控制是分布式系统架构中的核心技术,通过算法模型实现请求速率限制,保障服务稳定性。漏桶算法作为经典限流方案,其核心参数配置直接影响系统吞吐量与容错能力。在电商秒杀、金融支付等高并发场景中,合理的限流策略能有效防止系统过载,结合IP限制、用户令牌等多维度控制可提升防护精度。本文以NGINX为例,详解如何通过limit_req_zone配置实现动态流量整形,分享电商大促期间抵御3万QPS恶意请求的实战经验,并给出分布式环境下结合Redis的集群级限流方案。

weixin_33882452的博客 386

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【分布式利器:限流】2、网关层限流实战:Nginx+Spring Cloud Gateway配置指南

默认限流维度是IP,若需按用户ID(从请求头X-User-ID获取)限流,需自定义/*** 按用户ID限流(从请求头X-User-ID获取)*/@Bean// 获取请求头X-User-ID,若不存在则按IP限流/*** 按IP限流(默认)*/@Bean修改配置文件中的filters:args:key-resolver: "#{@userKeyResolver}" # 按用户ID限流。

2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署,用工程化视角为你厘清AI落地的真实路径。 1544

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Nginx限流配置实战:保护你的个人项目

本文分享了Nginx限流配置的实战经验,帮助保护个人项目免受爬虫、恶意请求等威胁。文章介绍了两种主要限流方式(请求频率和并发连接限制)、针对不同场景的配置示例(文章接口、登录接口、文件下载)、白名单设置方法以及限流后的友好提示配置。作者以亲身经历说明合理限流能有效保护低配服务器不被拖垮,并提供了验证限流效果的方法。最后还推荐了适合个人开发者的云服务器优惠信息。

qq_22193961的博客 209

深入理解 Nginx 限流:背景、原理、能力边界与实战示例

随着用户规模增长、业务场景复杂化、恶意流量与突发流量不断出现,限流成为保障系统稳定性的关键手段。本文将从限流背景、Nginx 限流原理、能够做到的能力边界、典型应用场景,并配合多个完整配置示例进行深入讲解。在流量不可控、攻击频发、业务增长迅速的时代,确保入口层限流合理,是每一个系统架构设计必须考虑的内容。在这些问题面前,Nginx 的限流往往作为第一道“入口级”防线,成本低、效果好,部署灵活。如果没有限流,有突发高峰时 CPU、内存、连接数可能飙升,引发雪崩。

xcbeyond|疯狂源自梦想,技术成就辉煌 1240

Nginx限流实战:从漏桶算法到生产环境配置指南

在高并发系统架构中,流量控制是保障服务稳定性的核心技术之一。其核心原理基于经典的漏桶算法和令牌桶算法,通过平滑突发流量、限制资源消耗来防止系统过载。从技术价值看,有效的限流机制能够实现服务降级和熔断,保护后端关键资源如数据库连接池不被耗尽。在应用场景上,限流广泛应用于API网关、微服务治理、秒杀系统以及防御CC攻击等安全防护领域。本文聚焦于Nginx这一高性能Web服务器内置的限流模块,深入解析其漏桶算法实现(ngx_http_limit_req_module)与连接数限制模块(ngx_http_limit

weixin_33766168的博客 340
上一篇: 一个基于 SpringBoot + Mybatis + Vue 的代码生成器
下一篇: 大厂面试必问的 4 大开源框架,你真会吗?
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值