利用nginx+tomcat+memcached组建web服务器负载均衡-优快云博客

本文详细记录了在面对Tomcat并发处理能力瓶颈时，通过调整线程数、部署多个实例并结合Nginx负载均衡，以及采用Memcached集中管理session，成功提升响应速度与用户体验的过程。重点介绍了Memcached的安装、配置与使用，以及如何通过Nginx实现负载均衡。最终实现了性能优化和更好的资源利用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 起因

最近对新开发的web系统进行了压力测试，发现tomcat默认配置下压到600人的并发登录首页响应速度就有比较严重的影响，一轮出现2000多个的500和502错误。我把登录的时间统计做了一下，把服务器处理总时间打印出来，看了一下发现有个别响应确实在20秒，但平均时间和lr测试出来的还是相差很远。所以可以断定不是程序处理处理花费了这么多时间，由于在局域网测试，所以也可以排除网络问题。这就把问题圈定在tomcat的请求响应能力上了。先把tomcat线程数提升到1000，发现500和502的报错降到几十个，但是响应时间上还没什么提高。后来启动了2个tomcat，用nginx做负载均衡，响应时间下降了40%，两个tomcat的处理时长都保持在1秒左右。

看来tomcat性能确实是系统的一个瓶颈，很有必要假设多个服务器来加强响应能力。之前由于只是测试登录，多个tomcat还不用共享session，但真正使用时是必须要能一起工作的。现记录一下负载均衡的安装配置过程。

2 解决方案的选择

多个tomcat要一起协同工作有几种办法，可以考虑的方案有以下几个：

1. 使用tomcat自带的cluster方式，多个tomcat见自动实时复制session信息，配置起来很简单。但这个方案的效率比较低，在大并发下表现并不好。

2. 利用nginx的基于访问ip的hash路由策略，保证访问的ip始终被路由到同一个tomcat上，这个配置更简单。但是我们的应用很可能是某一个局域网大量用户同时登录，这样负载均衡就没什么作用了。

3. 利用memcached把多个tomcat的session集中管理，这是最直接的解决方案，但是操作起来也最为复杂。

我们的系统既要求性能，又要比较好的利用上负载均衡，所以第3个方案是首选。接下来就是安装搭建之路了。

3 安装配置
3.1 memcached的安装

1）先下载libevent-1.4.14b-stable.tar.gz和memcached-1.4.7.tar.gz的源码包，前者是后者的依赖包，就是一个事件驱动的包。

2）安装非常顺利，还是经典的那几个编译安装命令：

tar zxvf libevent-1.4.14b-stable.tar.gz
cd libevent-1.4.14b-stable
./configure --prefix=/usr/local/libevent-1.4.14b
make
make install

tar zxvf memcached-1.4.7.tar.gz
cd memcached-1.4.7
./configure --prefix=/usr/local/memcached-1.4.7 --with-libevent=/usr/local/libevent-1.4.14b/
make
make install

3）启动memcached：

./bin/memcached -d -m 256 -u root -p 11211 -c 1024 -P /tmp/memcached.pid

3.2 memcached-session-manager配置

让tomcat调用memcached来存储session早就是一个很成熟的解决方案了，开源的msm就可以解决这个问题。比较折腾的就是要用到的jar包，官方文档说的也比较含糊，我这里用的是kryo的序列化方案，所以用到的包多一些，分别是：

kryo-1.03.jar

kryo-serializers-0.8.jar

memcached-2.5.jar（我在官方看最新已经到2.7了，但是msm官方说用2.5，可能新包没测试过，特别是2.6版本changelog里面提到api有调整，还是不要乱升的好）

memcached-session-manager-1.5.1.jar

memcached-session-manager-tc7-1.5.1.jar

minlog-1.2.jar

msm-kryo-serializer-1.5.1.jar

reflectasm-0.9.jar

以上这些包都放在$CATALINA_HOME/lib目录下。

另外提一下，官方给出的4种序列化方案，其中kryo是效率最高的，具体比较看http://code.google.com/p/memcached-session-manager/wiki/SerializationStrategies。

接下来是修改tomcat的配置文件$CATALINA_HOME/conf/context.xml，调整成新的session存储方式。配置文件中加入以下内容：

<ManagerclassName="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:127.0.0.1:11211"
sticky="false"
lockingMode="auto"
sessionBackupAsync="false"
sessionBackupTimeout="1000"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>

在$CATALINA_HOME/conf/logging.properties文件中添加de.javakaffee.web.msm.level=FINE，就可以在catalina.out的日志中看到详细的session存取情况。

另外在Manager配置中加上requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$"，用chrome浏览器测试发现居然sessionID会突然变掉，然后就被拦截器给跳回首页了。去掉就一切正常，但拦截器只会去检测action的，按理说应该完全没关系，望高人指点！

3.3 nginx配置

nginx非常简单，只要在upstream里面多配置几个server就可以了，这里把我的配置贴出来：

#usernobody;
worker_processes16;
events{
useepoll;
worker_connections65535;
}
http{
includemime.types;
default_typeapplication/octet-stream;
#log_formatmain'$remote_addr-$remote_user[$time_local]"$request"'
#'$status$body_bytes_sent"$http_referer"'
#'"$http_user_agent""$http_x_forwarded_for"';
#access_loglogs/access.logmain;
client_header_buffer_size32k;
large_client_header_buffers432k;
client_max_body_size8m;
client_body_buffer_size128k;
sendfileon;
tcp_nopushon;
#keepalive_timeout0;
keepalive_timeout65;
gzipon;
gzip_typestext/javascript text/plain text/css application/xml application/x-javascript;
gzip_disable"MSIE[1-6]\.(?!.*SV1)";
proxy_connect_timeout300;
proxy_send_timeout300;
proxy_read_timeout300;
proxy_buffer_size16k;
proxy_buffers432k;
proxy_set_headerX-Forwarded-For$remote_addr;
proxy_set_headerConnectionClose;
server_names_hash_max_size1024;
server_names_hash_bucket_size1024;
#Defaultcacheparametersforusebyvirtualhosts
#Setthecachepathtotmpfsmounteddisk,andthezonename
#Setthemaximumsizeoftheondiskcachetolessthanthetmpfsfilesystemsize
proxy_cache_path./cachelevels=1:2keys_zone=pscms:100mmax_size=800m;
proxy_temp_path./proxy;
#配置后端服务器信息
upstreamweb_server{
#ip_hash;
serverlocalhost:8080max_fails=3fail_timeout=30s;
serverlocalhost:8180max_fails=3fail_timeout=30s;
}
server{
listen8888;##listenforipv4
#listen[::]:80defaultipv6only=on;##listenforipv6
server_namelocalhost;
charsetutf-8;
log_formatmain'$remote_addr-$remote_user[$time_local]"$request"'
'$status$body_bytes_sent"$http_referer"'
'"$http_user_agent""$http_x_forwarded_for"';
access_loglogs/host.access.logmain;
#access_logoff;
location~.*\.(jsp|action)?${
proxy_set_headerHost$http_host;
proxy_redirectoff;
proxy_passhttp://web_server;
proxy_set_headerHost$host;
proxy_set_headerX-Real-IP$remote_addr;
proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;
}
location~.*\.(gif|jpg|jpeg|png|bmp|swf|js|css)${
#如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
proxy_next_upstreamhttp_502http_504errortimeoutinvalid_header;
proxy_cachepscms;#进行缓存，使用Web缓存区cache_one
proxy_cache_valid2003041h;#对不同的HTTP状态码设置不同的缓存时间
proxy_cache_valid3013025m;
proxy_cache_validany1m;
proxy_set_headerHost$host;
proxy_set_headerX-Real-IP$remote_addr;
proxy_set_headerX-Forwarded-For$remote_addr;
proxy_set_headerAccept-Encoding"";#（或是后台服务器关闭gzip），这样这台机器才不会缓存被压缩的文件，造成乱码
proxy_ignore_headers"Cache-Control""Expires";#这段配置加上后，proxy_cache就能支持后台设定的expires。
proxy_passhttp://web_server;
expires15m;
}
location/{
proxy_set_headerHost$http_host;
proxy_redirectoff;
proxy_passhttp://web_server;
proxy_set_headerHost$host;
proxy_set_headerX-Real-IP$remote_addr;
proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for;
}
}
}