linux服务器实现百万并发

最新推荐文章于 2023-11-16 10:20:32 发布
原创 最新推荐文章于 2023-11-16 10:20:32 发布 · 2.3k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#网络 #linux #epoll

并发量和承载的概念

并发量：一个服务器能同时承载客户端的数量

承载：客户端发送给服务器的请求(http或tcp等)在200ms内可以返回正确的结果

影响并发量的主要因素

  1. 数据库响应速度
  2. 网络带宽响应
  3. 内存操作
  4. 日志性能

服务器能同时建立的连接数量只是并发的基础，服务器处理客户端的请求包括请求、响应、处理和关闭。

网络五元组

  1. 源ip
  2. 目的ip
  3. 源端口号
  4. 目的端口号
  5. 协议

​ 由于只有一台客户端不断建立连接，所以源ip是一样的；目的ip也只有一台服务器；源端口号是不确定的，由操作系统或自己指定，目的端口号则是指定的8080端口；协议使用tcp协议。此时只有源端口号是不唯一的。这五个元素只要有一个是不同的，就对应一个不同的fd。

第一次并发量测试

使用之前的epoll_reactor.c的服务器代码进行测试，使用网络调试助手进行连接测试，成功连接，发生两次数据，然后断开。

wang@ubuntu:~/Desktop/0vicevip/5.1$ gcc epoll_reactor.c -o epoll_reactor
wang@ubuntu:~/Desktop/0vicevip/5.1$ ./epoll_reactor 8080
recv from 192.168.211.1 at port 57216
Recv: http://www.cmsoft.cn, 20 Bytes
Recv: http://www.cmsoft.cn, 20 Bytes
disconnect 5

再将客户端连接代码mulport_client_epoll.c中的最大连接端口宏定义先修改为1

编译之后，先启动服务端再启动客户端

wang@ubuntu:~/Desktop/0vicevip/5.1$ ./mulport 192.168.211.128 8080
connections: 999, sockfd:1002, time_used:1915
socket: Too many open files
error : Too many open files
查看单进程可操作性文件描述符数

根据错误提示可知，是由于打开太多文件导致的，那么我们先查看一下当前系统允许操作的文件描述符数量。

wang@ubuntu:~/Desktop/0vicevip/5.1$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 15391
max locked memory       (kbytes, -l) 65536
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 15391
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

由open files (-n) 1024可得，最多打开的文件描述符个数为1024

修改单进程可操作性文件描述符数

有两种方法

  1. 使用ulimit -n 数字可以进行临时修改，重启当前终端后，修改效果消失
  2. 修改/etc/security/limits.conf配置文件中的内容

在文件尾部加入中间两行配置

#<domain>      <type>  <item>         <value>

*       hard     nofile         1048576     ===》Hard limit限制，下面的设置不能超过该数
*       soft     nofile         1048576     ===》

#说明domain:域 记录那个用户组的程序有效 * 所有用户 root：root用户
type：soft(软限制） hard（硬限制） 软：能超过value，但是超过后操作系统回回收，硬不能超过设置的数量
value:对应数量

但是有个bug，切换后没有效果，重启也没有办法，切换到root用户，再切换回来就生效了，太奇怪了。每次这么搞好麻烦，还不如直接方法1修改，或者一直用root。

修改系统能打开的最大文件描述符数

同时还有个地方需要修改，就是在/etc/sysctl.conf中，需要设置系统可以打开的文件描述符最大值。

# 系统最大文件打开数
fs.file-max = 20000000
 
# 单个用户进程最大文件打开数
fs.nr_open = 20000000

指向sysctl -p /etc/sysctl.conf后生效，可通过cat /proc/sys/fs/file-max查看。

第二次并发量测试

再次运行服务端和客户端

root@ubuntu:/home/wang/Desktop/0vicevip/5.1# ./mulport 192.168.211.128 8080
connections: 999, sockfd:1002, time_used:1857
connections: 1999, sockfd:2002, time_used:1898
connections: 2999, sockfd:3002, time_used:1908
connections: 3999, sockfd:4002, time_used:1881
connections: 4999, sockfd:5002, time_used:1886
connections: 5999, sockfd:6002, time_used:1924
connections: 6999, sockfd:7002, time_used:1950
connections: 7999, sockfd:8002, time_used:1940
connections: 8999, sockfd:9002, time_used:1931
connections: 9999, sockfd:10002, time_used:1956
connections: 10999, sockfd:11002, time_used:3026
connections: 11999, sockfd:12002, time_used:1987
connections: 12999, sockfd:13002, time_used:1992
connections: 13999, sockfd:14002, time_used:1940
connections: 14999, sockfd:15002, time_used:3805
connections: 15999, sockfd:16002, time_used:4060
connections: 16999, sockfd:17002, time_used:4240
connections: 17999, sockfd:18002, time_used:4179
connections: 18999, sockfd:19002, time_used:4220
connections: 19999, sockfd:20002, time_used:5522
connections: 20999, sockfd:21002, time_used:4605
connections: 21999, sockfd:22002, time_used:5540
connections: 22999, sockfd:23002, time_used:4621
connections: 23999, sockfd:24002, time_used:4711
connections: 24999, sockfd:25002, time_used:5049
connections: 25999, sockfd:26002, time_used:4931
connections: 26999, sockfd:27002, time_used:5046
connections: 27999, sockfd:28002, time_used:6185
connect: Cannot assign requested address
error : Cannot assign requested address

观察最后三行，并发量到达2.8W，连接出错。客户端提示无法分配地址，这是由于客户端端口限制导致的，系统分配给程序的端口已经用完了，linux系统默认0-1023为常用端口，1024-49151为注册服务的端口，49152-65535为自定义端口。

修改可用端口范围

此端口的范围可以通过range_from来修改。

#方法1 cat /proc/sys/net/ipv4/ip_local_port_range
root@ubuntu:/home/wang/Desktop/0vicevip/5.1# cat /proc/sys/net/ipv4/ip_local_port_range
32768	60999
#方法2 在/etc/sysctl.conf配置文件中直接修改
root@ubuntu:/home/wang/Desktop/0vicevip/5.1# sysctl -p /etc/sysctl.conf
net.ipv4.ip_local_port_range = 32768 65000
root@ubuntu:/home/wang/Desktop/0vicevip/5.1# cat /proc/sys/net/ipv4/ip_local_port_range
32768	65000
root@ubuntu:/home/wang/Desktop/0vicevip/5.1#

再次测试

connections: 31999, sockfd:32002, time_used:7004
connect: Cannot assign requested address
error : Cannot assign requested address

由于客户端可用端口号增加了4000，所以连接数也增加了4000，但是依然远远不够，我们可以考虑让服务端监听100个端口，我们通过客户端来访问这一百个端口。服务端端的代码同时也做出修改。(实际开发中不会采用这种方式提高并发量，一般使用多进程fork的方式来实现(只能使用进程不能使用线程，因为每个进程都有自己的文件系统空间，但是线程是共享的))

第三次并发量测试

connections: 102999, sockfd:103002, time_used:2009
connections: 103999, sockfd:104002, time_used:2133
 RecvBuffer:Hello Server: client --> 103998
data from 4
data from 5
data from 6
data from 7
data from 8
data from 9
data from 10
。。。
data fro
 Error clientfd:141002, errno:11
connect: Connection refused
error : Connection refused

连接数到达十万，由于网络协议栈中的netfilter组件配置限制的原因。

netfilter

客户端发送的data，由网卡通过sk_buffer组件传输到网络协议栈，到达网络协议栈时，会经过一个netfilter组件(操作系统为防止大量无效的数据攻击，在数据进入网络协议栈之前加一个层过滤器netfilter规则，对网络数据包进行过滤)

在这里插入图片描述

Linux系统中的iptables防火墙就是基于netfilter实现的。iptables一共两部分，一部分是内核实现的netfilter的接口，有一部分是提供出来应用程序可以用的东西，即通过iptables命令操作的一些内容(转发、拒绝某个接口数据等功能)。

在/etc/sysctl.conf中添加如下配置,然后sysctl -p /etc/sysctl.conf生效即可。

cat /proc/sys/net/netfilter/nf_conntrack_max查看允许连接数。

//最大跟踪连接数，默认是65536个
net.nf_conntrack_max = 1048576
//稳定的连接状态最多保留多久，单位是秒，默认是432000秒，就是5天
net.netfilter.nf_conntrack_tcp_timeout_established = 1200
性能调优

修改了系统对fd的限制，单个进程对fd的限制，接下来就是内存的限制，tcp相关收发缓冲区，tcp内存设置，以及tcp相关参数设置。

# 全连接队列长度,默认128
net.core.somaxconn = 10240
# 半连接队列长度，当使用sysncookies无效，默认128
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_syncookies = 0
 
# 网卡数据包队列长度  
net.core.netdev_max_backlog = 41960
 
# time-wait 最大队列长度
net.ipv4.tcp_max_tw_buckets = 300000
 
# time-wait 是否重新用于新链接以及快速回收
net.ipv4.tcp_tw_reuse = 1  
net.ipv4.tcp_tw_recycle = 1
 
# tcp报文探测时间间隔, 单位s
net.ipv4.tcp_keepalive_intvl = 30
# tcp连接多少秒后没有数据报文时启动探测报文
net.ipv4.tcp_keepalive_time = 900
# 探测次数
net.ipv4.tcp_keepalive_probes = 3
 
# 保持fin-wait-2 状态多少秒
net.ipv4.tcp_fin_timeout = 15  
 
# 最大孤儿socket数量,一个孤儿socket占用64KB,当socket主动close掉,处于fin-wait1, last-ack
net.ipv4.tcp_max_orphans = 131072  
 
# 每个套接字所允许得最大缓存区大小
net.core.optmem_max = 819200
 
# 默认tcp数据接受窗口大小
net.core.rmem_default = 262144  
net.core.wmem_default = 262144  
net.core.rmem_max = 16777216  
net.core.wmem_max = 16777216
 
# tcp栈内存使用第一个值内存下限, 第二个值缓存区应用压力上限, 第三个值内存上限, 单位为page,通常为4kb
net.ipv4.tcp_mem = 786432 4194304 8388608
# 读, 第一个值为socket缓存区分配最小字节, 第二个，第三个分别被rmem_default, rmem_max覆盖
net.ipv4.tcp_rmem = 4096 4096 4206592
# 写, 第一个值为socket缓存区分配最小字节, 第二个，第三个分别被wmem_default, wmem_max覆盖
net.ipv4.tcp_wmem = 4096 4096 4206592

tcp_mem

  • low：当TCP使用了低于该值的内存页面数时，TCP不会考虑释放内存。
  • pressure：当TCP使用了超过该值的内存页面数量时，TCP试图稳定其内存使用，进入压力模式，当内存消耗低于low值时则退出压力状态。
  • high：允许所有tcp sockets用于排队缓冲数据报的页面量，当内存占用超过此值，系统拒绝分配socket，后台日志输出“TCP: too many orphaned sockets”或“Out of socket memory”

每个tcp连接对应一个读缓冲区recvbuffer和写缓冲区sendbuffer，可以使用修改配置文件，也可以通过在程序中使用setsockopt函数。

tcp_rmem 读缓冲区

  • low：默认是4096，缓冲区的最小大小
  • pressure：默认是87380，接收缓冲区的初始大小
  • high：允许接收缓冲区的最大大小

tcp_wmem 写缓冲区

  • low：默认是4096，缓冲区的最小大小
  • pressure：默认是16384，发送缓冲区的初始大小
  • high：允许发送缓冲区的最大大小
高并发设计原则

自己的服务器程序，调试网络协议栈参数的原则：

  1. 传输文件数据量大时，将buffer调大。
  2. 数据量较小时，可将buff调小，当buffer为512时，ssh无法连接，且日志也无法打印。调小的目的，就是为了增加并发量，可以把fd的数量做到更多，占用的内存更少。

第四次并发量测试

因为只有一台设备，也懒得程序装额外的虚拟机，所以所有的测试都是在同一台上。最终的测试结果达到了70万连接。(当时虚拟机已经卡住了，我一看情况不对，赶紧先把图截下来，哈哈哈)伪c1000k并发完成！

在这里插入图片描述

抖动

每k连接建立，所用的时长差距较大。原因是只有一个线程在处理accept，处理不过来，半连接队列已满，只能等待。

解决方法

  1. accept和recv/send分开。将网络连接丢给一个线程去处理，分配fd后，交给线程池处理。参考redis
  2. 开多个线程accept，参考nginx
c1000k服务器客户端流程

在这里插入图片描述

C10M应该如何实现

C1000k，只需使用一个epoll的reactor模型就可以实现，那么如何实现千万级的并发呢？要解决这个问题，最重要就是跳过内核协议栈的冗长路径，把网络包直接送到要处理的应用程序那里去。有两种常见的机制，DPDK 和 XDP。

(1) DPDK：是用户态网络的标准。它跳过内核协议栈，直接由用户态进程通过轮询的方式，来处理网络接收。每时每刻都有新的网络包需要处理，轮询的优势就很明显。

(2) XDP：是 Linux 内核提供的一种高性能网络数据路径。它允许网络包，在进入内核协议栈之前，就进行处理，也可以带来更高的性能。

支持linux百万级并发的参
06-23
支持linux百万级并发的参数, To support over 500k users, you *need* - A 64 bits hardware/kernel (AMD64, Opterons) - At least 8GB of ram - A recent linux kernel (2.6.x) About tuning, I prefer to not fully disclose them because servers are targets of many attacks, so it's better not help hackers. The most touchy thing is the IP route cache : You have to tune it or else the machine drops many connections (hint : rhash_entries=... in the boot append string) hints : echo 1 > /proc/sys/net/ipv4/route/gc_interval echo 150 >/proc/sys/net/ipv4/route/gc_timeout echo 2 >/proc/sys/net/ipv4/route/gc_elasticity - Use of hugeTLB pages hint : echo xxx >/proc/sys/vm/nr_hugepages Tune tcp : echo "4096 49152 131072" >/proc/sys/net/ipv4/tcp_wmem echo xxxx >/proc/sys/net/ipv4/tcp_max_syn_backlog echo xxxx >/proc/sys/net/core/somaxconn echo 1200000 > /proc/sys/net/ipv4/tcp_max_tw_buckets echo 7 >/proc/sys/net/ipv4/tcp_retries2
Linux C/C++ 开发（学习笔记十三)：百万并发的服务器实现
菊头蝙蝠的博客
03-16 3122
Linux C/C++ 开发（学习笔记十三 ）一、二、2、解决三、 一、 在那个文件下添加两行 reboot后即可 可以通过ulimit -a指令来查看文件系统最大的进程fd个数 确实由1024变为了百万级别 二、 连接到一半的时候又会遇到这个问题 在客户端这边,远程ip，远程端口,协议都是确定的，本机ip也是确定的，那么实际上就是本机的端口耗尽了。 解决方法就是 在服务器开多个端口，目前就开了一个端口：8888 2、解决 端口只有65535个，如何可以实现几百万并发呢。由于sockfd是
linux服务器百万并发,百万级并发连接_linux服务器配置
weixin_42442651的博客
05-07 322
To support over 500k users, you *need*- A 64 bits hardware/kernel (AMD64, Opterons)- At least 8GB of ram- A recent linux kernel (2.6.x)About tuning, I prefer to not fully disclose them because servers...
Linux并发连接上百万的配置
weixin_33725515的博客
11-17 286
To support over 500k users, you *need* - A 64 bits hardware/kernel (AMD64, Opterons) - At least 8GB of ram - A recent linux kernel (2.6.x) About tuning, I prefer to not fully disclose them because se...
百万并发「零拷贝」技术系列之Linux实现
码农神说
07-24 314
上一篇推文《百万并发「零拷贝」技术系列之初探门径》中的示例告诉我们：传统的I/O操作读取文件并通过Socket发送，需要经过4次上下文切换、2次CPU数据拷贝和2次DMA控制器数据拷贝，...
Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池)
09-27
在Linux 系统下面用C 语言实现的高并发服务器的代码，具体用到了Epoll，线程池，数据库连接池。 具体可以看下连接http://blog.youkuaiyun.com/wuyuxing24/article/details/48758927
牛客网Linux高并发服务器开发.zip
02-10
"牛客网Linux高并发服务器开发"这个压缩包文件，显然聚焦于利用Linux进行高性能服务器的设计与实现，这涉及到多个核心知识点。下面将详细阐述这些关键概念。 1. **嵌入式Linux开发**： 嵌入式Linux是Linux操作系统...
【Linux服务器开发】高并发服务器项目教程：性能优化与关键技术实现步骤详解
最新发布
06-20
适合人群：对Linux服务器开发感兴趣的开发者，尤其是希望深入了解高并发服务器构建的技术人员。; 使用场景及目标：①帮助开发者理解并掌握Linux高并发服务器的开发流程；②指导开发者在实际项目中应用相关技术和工具...
Linux下几种并发服务器的实现模式(详解)
09-15
在Linux操作系统中，实现并发服务器有多种方法，每种方式都有其特定的优缺点，适用于不同的场景和需求。下面将详细解析这些实现模式。...理解这些并发服务器的实现模式，对于构建高效稳定的Linux服务器至关重要。
linux并发回音服务器与客户端
06-17
在Linux系统中，实现并发回音服务器和客户端是学习网络编程和多线程技术的一个经典实践。这个项目涉及到了许多核心的计算机科学概念，包括网络通信、进程管理、并发处理和I/O操作。以下是关于这个主题的详细知识阐述...
Linux下突破限制实现高并发量服务器
04-09
怎么样突破限制实现高并发量服务器呢？ Linux下突破限制实现高并发量服务器这篇文章回答了这个问题。
Linux服务器百万并发实现与问题排查
weixin_60208935的博客
08-23 2699
实现一台服务器的百万并发，服务器支撑百万连接会出现哪些问题，如何排查与解决
Linux的TCP连接数量最大不能超过65535？那服务器是如何应对百万千万的并发的？...
芋艿V
03-16 388
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
Linux如何查看服务器的并发数？ 使用netstat命令查看并发连接数
热门推荐
沉底的石头
05-20 2万+
我们的网站部署在linux的服务器上，特别是web服务器，我们可能有时候做为运维人员，肯定是要查看网站的并发连接数是不是达到瓶颈等，所以在linux下，我们如何查看服务器的并发连接数呢？使用以下命令即可分组查看各种连接状态哦：   C/C++ Code复制内容到剪贴板 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) pri
Linux 百万并发「零拷贝」实现原理
公知了
02-02 289
传统的I/O操作读取文件并通过Socket发送，需要经过4次上下文切换、2次CPU数据拷贝和2次DMA控制器数据拷贝，如下图： 从中也可以看得出提高性能可以从减少数据拷贝和上下文切换的次数着手，在Linux操作系统层面上有4种实现方案：内存映射mmap、sendfile、splice、tee，这些实现中或多多少的减少数据拷贝次数或减少上下文切换次数。 操作系统层面的减少数据拷贝次数主要是指用户空间和内核空间的数据拷贝，因为只有他们的拷贝是大量消耗CPU时间片的，而DMA控制器拷贝数据CPU参与的工作较少，只
linux的并发连接,linux并发连接上百万的配置
weixin_35726635的博客
05-26 345
BastEt2014-4-7 15:43:00阅读(2538)评论(10)To support over 500k users, you *need*- A 64 bits hardware/kernel (AMD64, Opterons)- At least 8GB of ram- A recent linux kernel (2.6.x)About tuning, I prefer to no...
linux ulimit
weixin_30716725的博客
06-26 183
系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell 进程及其子进程的资源使用设置限制。 ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限...
服务器百万并发系统配置
2302_76892983的博客
11-16 659
ulimit -a 能看到资源的限制情况其中open files是指能打开的文件的数量，一般为1204，可通过ulimit -n<size>更改，例如：ulimit -n1048576,此时的更改只是临时的，要想永久有效要更改文件 /tec/sysctl.conf ，也可以修改/etc/security/limits.conf文件在末尾加上在末尾加上 fs.file-max = 1048576 服务端想要做到百万的链接就必须将此值改为大于100w。
Linux并发数
junqing124的专栏
09-28 425
先改系统限制: ulimit -n 65525 vi /etc/security/limits.conf 最后加上: * hard nofile 65535 * soft nofile 65535
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值