测试一下lvs fullnat的性能（工作记录）

最新推荐文章于 2025-03-13 08:56:50 发布

hanpingxue

最新推荐文章于 2025-03-13 08:56:50 发布

阅读量3.1k

点赞数

分类专栏：负载均衡

负载均衡专栏收录该内容

15 篇文章

订阅专栏

参考资料的地址在于：

参考资料： http://kb.linuxvirtualserver.org/wiki/IPVS_FULLNAT_and_SYNPROXY

测试考虑

1. 测试NAT/DR/TUNNEL 兼容性

2. 测试TCP/UDP/ICMP/AH/ESP 数据包

3. 测试IPV6

4. 测试Template/persistent

使用FULLNAT方式TCP序列号的转换：

正常流程：选择local address以后，需要重新计算seq,以满足同一个TCP流中的SYN包序列号不同的单向递增的要求：

为什么要重新计算syn,是因为两边处理的时间不相同，syn命中的session，重新计算seq

步骤：

增加新的虚拟机，需要升级内核，安装httpd服务

怎么分配vsip地址（申请）

[root@lvs-test-dev021-jylt keepalived]# find / -name keepalived
/etc/sysconfig/keepalived
/etc/keepalived
/etc/rc.d/init.d/keepalived
/var/lock/subsys/keepalived
/usr/sbin/keepalived

几个地方的keepalived的作用是什么：

/etc/sysconfig/keepalived：配置文件

ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4194304)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP 10.153.79.120:80 rr synproxy
-> 10.153.74.118:80             FullNat 1      0          0
-> 10.153.74.139:80             FullNat 1      0          0
-> 10.153.74.140:80             FullNat 1      0          0
-> 10.153.74.141:80             FullNat 1      0          0
-> 10.153.74.142:80             FullNat 1      0          0

这个是正确的，但是访问vip 是不成功的，wget不到，原因在于

还有curl 的问题

webbench qps

qps

QPS每秒查询率(Query Per Second)

每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。

对应fetches/sec，即每秒的响应请求数，也即是最大吞吐能力

测试记录：

webbench http://10.153.79.120/
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.

Benchmarking: GET http://10.153.79.120/
1 client, running 30 sec.

Speed=105880 pages/min, 493753 bytes/sec.
Requests: 52940 susceed, 0 failed.

[root@lvs-test-dev020-jylt webbench-1.5]# webbench -c 100 http://10.153.79.120/
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.

Benchmarking: GET http://10.153.79.120/
100 clients, running 30 sec.

Speed=1283054 pages/min, 5983260 bytes/sec.
Requests: 641527 susceed, 0 failed.

测试过程中遇到的问题：

1，HTTP_GET不配置timeout导致CPU占用过高的问题

2、间歇丢包的问题：是因为vip那台虚拟机上面的eth0 eth1 eth2分别配置了地址，只有一个地址是已经配置好的Local ip ，导致lvs收到的报文会分发到三块网卡上。根据ospf路由协议

测试服务器性能要用到的命令：

top

htop

mpstat -P ALL 2 10000

与 vmstat 相似，mpstat 命令还产生与 CPU 有关的统计信息，因此所有与 CPU 问题有关的讨论也都适用于 mpstat。
当您看到较低的 %idle 数字时，您知道出现了 CPU 不足的问题。当您看到较高的 %iowait 数字时，
您知道在当前负载下 I/O 子系统出现了某些问题。该信息对于解决 Oracle 数据库性能问题非常方便。

测试的时候加上real server 的优化：

lvs的 ulimit -n 是多少？

测试pps

cat ip_vs_stats
   Total Incoming Outgoing         Incoming         Outgoing
   Conns Packets Packets            Bytes            Bytes
            ADB9            36140            35FF0           BCA8F3          1470892

Conns/s Pkts/s Pkts/s Bytes/s Bytes/s
1374 60E1 60B7 15205C 249B73

1、使用netperf测试

怎么查看linux中哪个文件占用的空间大 du tomcat6 df -h

du -sk * | sort -n

查看某一端口号是否被占用：

lsof -i:80

netperf遇到的问题

Could not install signal catcher for sig 32, errno 22

OSPF原理：

两台lvs同时工作：

在外面的网络中利用ospf协议，使得外部的路由器将请求分给两台lvs。

查看路由状态：

怎么配置多队列网卡：
[root@10.153.72.2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
172.27.0.0      172.27.0.9      255.255.255.252 UG    101    0        0 eth1
172.27.0.4      172.27.0.9      255.255.255.252 UG    101    0        0 eth1
172.27.0.8      0.0.0.0         255.255.255.252 U     0      0        0 eth1
172.27.0.16     172.27.0.9      255.255.255.252 UG    101    0        0 eth1
172.27.0.20     172.27.0.9      255.255.255.252 UG    101    0        0 eth1
10.153.72.0     0.0.0.0         255.255.248.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1003   0        0 eth1
10.0.0.0        10.153.79.254   255.0.0.0       UG    0      0        0 eth0
0.0.0.0         172.27.0.9      0.0.0.0         UG    0      0        0 eth1

查看路由的意义：

Linux内核优化：添加cpu的负载分担：查看文件：

cat /etc/rc.local

sh /root/set_irq_affinity.sh eth0

sh /root/set_irq_affinity.sh eth1

观察两台的连接数是否相同：

ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4194304)
Prot LocalAddress:Port               Conns   InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 119.188.143.208:80             423377 23306801 23303195    1300M    2260M
-> 10.153.74.85:80                 39794 2418318 2416851 134956K 237316K
-> 10.153.74.139:80                43227 2417344 2417010 134888K 237832K
-> 10.153.74.140:80                43305 2381131 2381023 132866K 234285K
-> 10.153.74.141:80                40987 2329503 2329424 129985K 229206K
-> 10.153.74.142:80                42012 2166551 2166474 120892K 213172K
-> 10.153.74.249:80                40956 2292522 2292131 127919K 218630K
-> 10.153.75.54:80                 40352 2039735 2039721 113819K 195405K
-> 10.153.75.55:80                 43811 2432538 2432455 135734K 233030K
-> 10.153.75.56:80                 43539 2396925 2396914 133748K 229623K
-> 10.153.75.152:80                44709 2428418 2428151 135503K 231651K

认识rc.local