[C10K] TCP REUSEPORT

最新推荐文章于 2024-07-27 21:55:54 发布
最新推荐文章于 2024-07-27 21:55:54 发布
阅读量437 收藏 1
点赞数 1
分类专栏： linux
本文介绍了SO_REUSEPORT socket选项，该选项允许多个socket绑定到同一监听端口，并由内核自动进行负载均衡分配请求。文中还讨论了启用此选项的安全性和历史背景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

概述

SO_REUSEPOR这个socket选项可以让你将多个socket绑定在同一个监听端口，然后让内核给你自动做负载均衡，将请求平均地让多个线程进行处理。

安全性考虑

为了避免hijacking即恶意用户通过监听相同的端口来获取用户信息
  • 第一个进程必须enable了这个选项之后，后续的进程才可以通过enable这个选项将socket绑定到同一个端口上；
  • 绑定到同一个端口的进程的effective user id必须一致；

在没有SO_REUSEPORT的年代

  • 派一条线程专门进行accept，获取socket后分派给worker线程。这种方法使得进行accept的线程成为了单点，容易成为性能的瓶颈；
  • 多个线程同时进行accept。这种方法的问题是每一个线程accept成功的概率不均匀，导致负载不均衡；

https://www.jianshu.com/p/37216e299bff
https://lwn.net/Articles/542629/

C 语言网络编程 — 高并发 TCP 网络服务器
烟云的计算
03-09 1492
可见，I/O 多路复用模型大大增加了每个进程可以管理的 Socket 数量，直到操作系统 fd 最大数量限制为止，通常可以设置百万级别，即：单机单进程支持百万连接，epoll 是解决 C10K 的利器，很多开源软件用到了它。四次挥手是一个冗长的过程，由于网络环境的复杂性与 TCP 连接的可靠性相违背，所以在某些特殊的场景中会出现相应的问题。所以，实际上，close() 并不会马上断开 Socket Connection，在高性能网络服务器中，需要非常关注 TCP 连接的状态情况。
Linux I/O和文件系统专题 - 第2章：C10问题
最新发布
2301_79143213的博客
07-15 261
C10问题（C10 Problem）指单台服务器需要同时处理10,000个并发连接时面临的挑战，名称源自"C10k"（Concurrent 10,000 connections）。
tcp -- reuseport不平滑升级
weixin_41374218的博客
01-15 1813
tcp服务器热更新
剖析 TCP - SO_REUSEPORT 使用
wenfh2020的专栏
08-07 1232
1. 概述 在 TCP 应用中，SO_REUSEPORT 是 TCP 的一个选项设置，它能开启内核功能：网络连接分配负载均衡。 该功能允许多个进程/线程 bind/listen 相同的 IP/PORT，提升了新连接的分配性能。 nginx 开启 reuseport 功能后，性能有立竿见影的提升，我们结合 nginx 分析一下 reuseport 功能。 文章来源：剖析 TCP - SO_REUSEPORT 使用 1.1. what 从下面这段英文提取一些关键信息： SO_REUSEPORT 是网络的一
Linux 4.6内核对TCP REUSEPORT的优化
热门推荐
TCP/IP
05-26 2万+
繁忙了一整天，下班回家总会有些许轻松，这是肯定的。时间不等人，只要有剩余的时间，就想来点自己喜欢的东西。下班的班车上，用手机那令人遗憾的屏幕目睹了Linux 4.6的一些新特性，让我感兴趣的有两点，第一是关于reuseport的，这也是本文要阐释的，另外一个是关于KCM(Kernel Connection Multiplexor)的，而这个是我本周末计划要写的内容，这些都是回忆，且都是我本身经历过
tcp 端口复用与惊群效应（REUSEADDR、REUSEPORT）
zhc的博客
02-16 5336
我在之前的一篇文章中，介绍了我在之前的项目中遇到的端口复用，windows 的udp里端口复用导致了一个bug,具体的链接参考如下： 关于Socket中端口复用_zhc的博客-优快云博客_socket端口复用 而我现在是想总结一下，linux下的情况，想从头再梳理下，REUSEADDR 和 REUSEPORT的作用。 1.SO_REUSEADDR 是为了解决time_wait问题而产生的 SO_REUSEADDR 它的作用是当服务器端主动断开链接的时候，处在timewait阶段大约60秒钟，服
tcp的SO_REUSEADDR和SO_REUSEPORT套接字选项
SteveForever的博客
07-27 341
解决地址和端口在TIME_WAIT状态下的复用问题，适用于服务器重启和多播应用。: 允许多个套接字绑定到相同的地址和端口，适用于多进程或多线程服务器的负载均衡。通过合理设置这两个选项，可以提高网络应用的健壮性和性能。
Nginx性能调优，解决C10K问题
nuoWei_SenLin的博客
09-10 1万+
        公司的技术总监最近出了一道架构方面的问题让我们同组的开发人员设计，题目是这样的：有个签到功能，需要记录每个⽤户每年每⼀天的签到情况。假设⽤户量在千万，甚⾄亿级，该如何设计。 思考这个问题后，我给出的设计方案如下： 第一层：通过DNS，同一个域名绑定多个IP，在DNS上进行负载均衡。 第二层：中央Nginx集群，通过DNS负载均衡后，通过nginx二次负载均衡(Nginx的配置...
35C10K和C1000K回顾1
08-03
例如，调整TCP缓冲区大小、使用SO_REUSEADDR和SO_REUSEPORT选项来加速socket的绑定和监听，以及使用sendfile和零拷贝技术提高数据传输效率。 总之，C10K和C1000K问题的解决涉及到了系统设计、I/O模型、资源管理等多...
【Linux网络模型】3.C10K 和 C1000K 回顾 Linux 网络基于 TCP/IP 模型，构建了其网络协议栈，把繁杂的网络功能划分为应用层、传输层、网络层、网络接口层四个不同的层次
谢谢大家的关注
01-26 1761
要解决这个问题，最重要就是跳过内核协议栈的冗长路径，把网络包直接送到要处理的应用程序那里去。这里有两种常见的机制，
关于Linux UDP/TCP reuseport 二三事
TCP/IP
05-26 2万+
聊到reuseport，大致要从四年前说起。 OpenVPN-以往的故事 当时要优化OpenVPN的并发性能，了解到socket有一个reuseport特性，于是非常兴奋，本着拿来主义的想法，无非就是在OpenVPN的源码里加一个setsockopt吧…我们当时基于Linux 2.6.32开发，无奈并没有实现这个特性，后来的版本也只是实现了reuseport热备份模式，并没有实现负载均衡模...
linux下tcp socket的SO_REUSEPORT和SO_REUSEADDR
默数悲伤
01-28 1829
SO_REUSEADDR linux下多个tcp socket不能同时bind到一个ip:port上，但是可以bind到不同的ip相同的port上，前提是都要设置SO_REUSEADDR选项为true。否则会返回address already in use。 比如bind(127.0.0.1:80) bind(192.168.0.10:80) bind(10.0.0.12:80)这取决于有多少
TODO：Golang语言TCP/UDP协议重用地址端口
weixin_34074740的博客
11-30 381
2019独角兽企业重金招聘Python工程师标准>>> ...
重新实现reuseport逻辑，实现一致性哈希
TCP/IP
04-13 5947
皮鞋，湿而不胖！ 说好的，周末写一篇关于reuseport的。凌晨一点多被正则给吵醒，索性一气之下就起床了，发周报，梳理工作，回答问题，写本文。 大家从来都没质疑过reuseport说明大家都不在乎reuseport。既然大家都不在乎，那我就来说说大家都不在乎的东西。大家都不管其实不是大家都不管，并不是大家觉得这很牛逼，实际上，真正使用这个机制的公司或者个人，早就偷偷地把它的实现机制给改掉了，只...
google linux kernel tcp reuseport patch
mumumuwudi的博客
07-25 2214
This patch implements so_reuseport (SO_REUSEPORT socket option) forTCP and UDP.  For TCP,so_reuseport allows multiple listener socketsto be bound to the same port.  In the case of UDP, so_reusepor
关于CentOS 6.7之一个TCP重传细节的证实
TCP/IP
07-18 7238
如果你真的就看完了《packetdrill框架点滴剖析以及TCP重传的一个细节》，我觉得你应该有一个疑问，那就是RH发行版使用的2.6.32内核真的使用了PRR降窗算法吗？为此，我把故事再撸一遍。        按照标准的2.6.32内核，第一次收到SACK的时候，在进入重传之前，拥塞窗口的值应该是in_flight+1，即2+1=3个段，也就是说可以重传1个段，但是抓包发现重传了2个段，tcpp
【ABC】Tcp抓包以及tcp状态解释
weixin_39552387的博客
07-18 4545
TCP抓包
满满干活-wireshark进阶篇《Wireshark的TCP协议数据包常见报错提示》，练就你火眼金睛，助您快速在百万数据包中定位原因
weixin_45247563的博客
07-15 4644
本文介绍Wireshark的数据包常见报错提示，包括TCP PORT NUMBERS REUSED 和TCP WINDOW FULL以及TCP ZeroWindow与 TCP Window Update的出现原因和解决思路。干货满满
tcp port numbers reused出现原因_TCP连接出现大量TimeWait状态的连接-原因解析
weixin_39809584的博客
12-09 2万+
一. 问题背景应用在高并发运行情况下出现大量TimeWait连接请求# 统计命令： # 统计已连接上的，状态为“established netstat -na|grep ESTABLISHED|wc -l# 查看80端口连接数netstat -ant|grep -i "80"|wc -l# 如果需要统计tcp连接每种状态的连接的数量netstat -an | awk '/^tcp/ {++S[...
reuseport 是什么
06-25
<think>我们正在讨论`SO_REUSEPORT`选项，这是一个套接字选项，用于允许多个套接字绑定到相同的IP地址和端口组合。这在网络编程和服务器配置中非常有用，尤其是在高并发场景下。##什么是SO_REUSEPORT？`SO_REUSEPORT`是一个套接字选项（socketoption），它允许在同一台主机上创建多个套接字（sockets）绑定到同一个IP地址和端口组合。这个选项最初是在Linux内核3.9版本中引入的，后来也被其他操作系统（如FreeBSD、macOS）所支持。在没有`SO_REUSEPORT`的情况下，如果尝试将两个套接字绑定到同一个IP地址和端口，第二个绑定操作会失败，并返回`EADDRINUSE`错误（地址已在使用）。而设置`SO_REUSEPORT`选项后，多个套接字可以同时绑定到同一个地址和端口，操作系统内核会负责在这些套接字之间分配传入的连接。##SO_REUSEPORT的作用1.**负载均衡**：内核可以将传入的连接请求均匀地分配给绑定到同一地址和端口的多个套接字。这可以有效地在多个进程或线程之间分配负载，提高系统的并发处理能力。2.**避免锁竞争**：在传统的多进程/多线程服务器模型中，通常只有一个监听套接字，多个工作进程/线程通过`accept()`调用竞争获取新连接。这可能导致锁竞争，影响性能。使用`SO_REUSEPORT`后，每个进程/线程都有自己的监听套接字，内核负责将连接分配给不同的套接字，从而避免竞争。3.**无缝重启/升级**：在服务器重启或升级时，可以启动新的服务器实例并绑定到相同的地址和端口，而旧实例仍在处理现有连接。当新实例准备好后，可以关闭旧实例，实现无缝切换。4.**提高性能**：通过允许多个进程独立监听同一个端口，可以更好地利用多核CPU，减少锁竞争，提高整体吞吐量。##如何使用SO_REUSEPORT？在代码中，可以通过设置套接字选项来启用`SO_REUSEPORT`。以下是一个使用C语言的示例（基于Linux系统）：```c#include<sys/socket.h>#include<netinet/in.h>intmain(){intfd=socket(AF_INET,SOCK_STREAM,0);intoptval=1;//设置SO_REUSEPORT选项if(setsockopt(fd,SOL_SOCKET,SO_REUSEPORT,&optval,sizeof(optval)){perror("setsockopt");return1;}structsockaddr_inaddr;memset(&addr,0,sizeof(addr));addr.sin_family=AF_INET;addr.sin_addr.s_addr=htonl(INADDR_ANY);addr.sin_port=htons(8080);if(bind(fd,(structsockaddr*)&addr,sizeof(addr))<0){perror("bind");return1;}listen(fd,SOMAXCONN);//...接受连接等操作}```在服务器配置中，例如Nginx，可以通过在`listen`指令后添加`reuseport`参数来启用：```nginxserver{listen80reuseport;#...其他配置}```##注意事项1.**安全性**：使用`SO_REUSEPORT`时，需要确保所有绑定到同一地址和端口的进程都是可信的，因为任何具有足够权限的进程都可以加入。2.**负载均衡算法**：内核默认使用哈希算法将连接分配给不同的套接字。在Linux4.5及更高版本中，还可以选择使用BPF程序来自定义分配策略。3.**与SO_REUSEADDR的区别**：`SO_REUSEADDR`主要用于允许在套接字关闭后立即重用地址（避免TIME_WAIT状态），或者允许多个套接字绑定到相同的IP地址和端口，但仅适用于UDP或多播。而`SO_REUSEPORT`则专门用于TCP和UDP的单播，允许多个套接字同时绑定并接收流量。##应用场景-**Web服务器**：如Nginx、Apache等，通过配置`reuseport`可以显著提高性能，特别是在高并发场景下。-**游戏服务器**：需要处理大量并发连接，使用`SO_REUSEPORT`可以更好地利用多核。-**实时通信系统**：如WebSocket服务器，需要低延迟和高并发。##总结`SO_REUSEPORT`是一个强大的套接字选项，它允许多个套接字绑定到同一个IP地址和端口，从而提供负载均衡、避免锁竞争、无缝重启等优势。在网络编程和服务器配置中，合理使用`SO_REUSEPORT`可以显著提高系统的并发处理能力和性能。---###相关问题1.如何在Nginx中配置`reuseport`，它带来了哪些性能提升？2.`SO_REUSEPORT`和`SO_REUSEADDR`有哪些主要区别？3.在多进程服务器模型中，使用`SO_REUSEPORT`如何避免`accept()`惊群问题？4.在Linux内核中，`SO_REUSEPORT`是如何实现连接分配的？5.使用`SO_REUSEPORT`时，如何确保各个进程之间的负载均衡？</think>## SO_REUSEPORT 详解：作用与应用场景 `SO_REUSEPORT` 是操作系统级别的套接字选项，用于解决端口绑定冲突问题，在网络编程和服务器配置中具有重要作用。 ### 核心作用 1. **允许多个套接字绑定相同端口** - 传统限制：操作系统默认禁止多个套接字绑定同一`IP:PORT`组合 - `SO_REUSEPORT`：允许多个套接字（同进程或不同进程）同时绑定相同地址和端口 - 内核机制：内核自动分配传入连接给不同套接字[^1] 2. **实现内核级负载均衡** - 连接分配：操作系统内核直接将新连接分配给不同监听套接字 - 避免用户态竞争：消除传统`accept()`竞争导致的"惊群效应" - 性能优势：比用户态负载均衡更高效（减少上下文切换） 3. **提升资源利用率** - CPU亲和性：结合线程绑定可优化多核CPU利用率 - 减少锁竞争：每个工作进程/线程独立处理连接，避免共享资源竞争 ### 应用场景 #### 1. 高并发服务器优化 ```nginx http { server { listen 80 reuseport; # 启用SO_REUSEPORT location / { ... } } } ``` - **效果**：Nginx工作进程各自监听80端口，内核直接分配连接 - **性能提升**：避免单个监听队列瓶颈，吞吐量提升30%-400%[^1] #### 2. 零宕机服务更新 ```c // 旧进程 setsockopt(sock_fd, SOL_SOCKET, SO_REUSEPORT, &optval, sizeof(optval)); bind(sock_fd, ...); // 新进程启动时同样设置 setsockopt(new_sock, SOL_SOCKET, SO_REUSEPORT, ...); bind(new_sock, ...); // 不会冲突 // 优雅关闭旧进程 ``` - **优势**：新旧服务并存，无缝切换流量 #### 3. 多协议端口复用 ```python # Python示例 (使用socket.SO_REUSEPORT) import socket s1 = socket.socket() s1.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEPORT, 1) s1.bind(('0.0.0.0', 80)) s2 = socket.socket() s2.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEPORT, 1) s2.bind(('0.0.0.0', 80)) # 成功绑定相同端口 ``` - **应用场景**：TCP/UDP混合服务共享端口 ### 与 SO_REUSEADDR 的区别 | 特性 | SO_REUSEPORT | SO_REUSEADDR | |--------------------|-------------------------------|----------------------------| | 多套接字绑定 | ✅ 允许完全相同的IP:PORT | ❌ 仅允许地址不同时复用 | | 负载均衡 | ✅ 内核自动分配连接 | ❌ 无此功能 | | TIME_WAIT 处理 | ❌ 不解决TIME_WAIT问题 | ✅ 允许快速重用TIME_WAIT端口 | | 典型应用场景 | 高性能服务器、零宕机更新 | 服务重启、快速端口回收 | ### 底层实现原理 1. **共享监听队列** 内核为`SO_REUSEPORT`组维护共享的SYN队列，通过哈希算法分配连接： $$ \text{worker\_index} = \text{hash}(\text{client\_IP}, \text{client\_port}) \mod N $$ 2. **连接分配流程** ```mermaid graph LR A[新连接请求] --> B{是否SO_REUSEPORT?} B -->|Yes| C[哈希计算目标套接字] B -->|No| D[默认监听队列] C --> E[直接分配连接] ``` 3. **容错机制** - 自动剔除故障套接字 - 新成员加入时动态调整分配 ### 注意事项 1. **操作系统支持** - Linux ≥ 3.9, FreeBSD ≥ 10.0, macOS ≥ 10.11 - Windows不支持（使用`SO_REUSEADDR`替代） 2. **安全风险** - 所有绑定进程需相同UID（除非内核配置`net.ipv4.ip_unprivileged_port_start=0`） 3. **负载均衡限制** - 不同进程的接收速率差异可能导致不均衡 - 建议配合CPU亲和性设置 > **最佳实践**：在Nginx、Envoy等高性能服务器中优先启用`reuseport`，配合epoll/kqueue实现百万级并发[^5]。 --- ### 相关问题 1. 如何在Nginx中正确配置`reuseport`以获得最佳性能提升？ 2. `SO_REUSEPORT`与负载均衡器（如LVS）协同工作时需要注意哪些问题？ 3. 在多线程网络编程中，使用`SO_REUSEPORT`如何避免资源竞争问题？ 4. 当部分工作进程崩溃时，`SO_REUSEPORT`机制如何保证服务连续性？ 5. 在Kubernetes环境中如何为Pod配置`SO_REUSEPORT`以实现零宕机更新？[^4]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值