nginx+tomcat+memcached实现负载均衡和session共享_nginx+tomcat+memcached实现负载均衡及session共享-优快云博客

本文链接：https://blog.youkuaiyun.com/Argued_D/article/details/81476246

本文介绍如何通过Nginx实现Tomcat集群的负载均衡，并利用Memcached进行Session共享，确保了应用的高可用性和数据一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

server1：安装tomcat和memcached，做调度器，使用nginx
server2：安装tomcat和memcached

server1：172.25.40.1
server2：172.25.40.2
这里写图片描述
（1）Nginx负责负载均衡。
（2）Tomcat负责实际服务。
（3）Memcached负责同步Tomcat的Session，达到Session共享的目的。

【server1】主机搭建JDK

[root@server1 ~]# tar zxf jdk-7u79-linux-x64.tar.gz -C /usr/local
[root@server1 ~]# cd /usr/local/
[root@server1 local]# ln -s jdk1.7.0_79/ java
[root@server1 local]# vim /etc/profile    #修改全局变量
 80 export JAVA_HOME=/usr/local/java
 81 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
 82 export PATH=$PATH:$JAVA_HOME/bin
[root@server1 local]# source /etc/profile   #生效

这里写图片描述
测试jdk环境：

[root@server1 ~]# vim test.java

这里写图片描述

root@server1 ~]# javac test.java  #编译
[root@server1 ~]# ls          #编译完成会生成test.class文件
test.class  test.java
[root@server1 ~]# file test.class  #是一个java库数据文件
test.class: compiled Java class data, version 51.0
[root@server1 ~]# java test  
Hello World

安装tomcat

[root@server1 ~]# tar zxf apache-tomcat-7.0.37.tar.gz -C /usr/local/
[root@server1 ~]# cd /usr/local/
[root@server1 local]# ln -s apache-tomcat-7.0.37 tomcat
[root@server1 local]# cd tomcat/
[root@server1 tomcat]# bin/startup.sh   #开启tomcat
[root@server1 tomcat]# netstat -antlp   #默认开启端口为8080
tcp    0     0     :::8080       :::*        LISTEN      1232/java

网页访问：http://172.25.40.1:8080/
这里写图片描述

[root@server1 tomcat]# cd webapps/ROOT/
[root@server1 ROOT]# pwd           #tomcat默认发布目录
/usr/local/tomcat/webapps/ROOT
[root@server1 ROOT]# vim test.jsp   #自己写一个测试页面
server1 -  The time is: <%=new java.util.Date()%>

这里写图片描述

编译nginx：

[root@server1 ~]# tar zxf nginx-1.10.1.tar.gz 
[root@server1 ~]# tar zxf nginx-sticky-module-ng.tar.gz
[root@server1 ~]# cd nginx-1.10.1
[root@server1 nginx-1.10.1]# vim src/core/nginx.h
    14 #define NGINX_VER          "nginx"   ##删除版本号，安全一点！
[root@server1 nginx-1.10.1]# vim auto/cc/gcc
    179 #CFLAGS="$CFLAGS -g"      ##注释掉这行，忽略编译信息，安装的容量会变小。

[root@server1 nginx-1.10.1]# yum install -y gcc-c++ pcre-devel openssl-devel
[root@server1 nginx-1.10.1]# useradd -s /sbin/nologin nginx
[root@server1 nginx-1.10.1]# ./configure --prefix=/usr/local/lnmp/nginx --with-http_ssl_module --with-http_stub_status_module --with-file-aio --with-threads --user=nginx --group=nginx --add-module=/root/nginx-sticky-module-ng  #编译安装nginx
[root@server1 nginx-1.10.1]# make && make install        ##安装
[root@server1 nginx-1.10.1] cd /usr/local/lnmp/nginx/sbin/    
[root@server1 sbin]# ./nginx   ##启动nginx，为了方便可做个软连接。
[root@server1 sbin]# ln -s /usr/local/nginx/sbin/nginx /usr/sbin/

这里写图片描述

[root@server1 sbin]# vim /usr/local/lnmp/nginx/conf/nginx.conf
2 user  nginx;       #nginx进程的用户
3 worker_processes  1;
  ......
17 http {
18         upstream tomcat {    #upstream 负载均衡模块
19         server 172.25.40.1:8080;
20         server 172.25.40.3:8080;
21         }

32     sendfile        on;

38     gzip  on;

 ......
64         location ~ \.jsp$ {
65             proxy_pass   http://tomcat;   ##代理
66         }
[root@server1 sbin]# ./nginx -t   #检测语法
[root@server1 sbin]# ./nginx -s reload   #刷新

在【server2】主机上搭建tomcat

[root@server2 ~]# tar zxf jdk-7u79-linux-x64.tar.gz -C /usr/local
[root@server2 ~]# cd /usr/local/
[root@server2 local]# ln -s jdk1.7.0_79/ java
[root@server2 local]# vim /etc/profile    #修改全局变量
 80 export JAVA_HOME=/usr/local/java
 81 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
 82 export PATH=$PATH:$JAVA_HOME/bin
[root@server2 local]# source /etc/profile   #生效

[root@server2 ~]# tar zxf apache-tomcat-7.0.37.tar.gz -C /usr/local/
[root@server2 ~]# cd /usr/local/
[root@server2 local]# ln -s apache-tomcat-7.0.37/ tomcat
[root@server2 local]# cd tomcat/
[root@server2 tomcat]# bin/startup.sh   #开启tomcat

网页访问：http://172.25.40.2:8080/
这里写图片描述

[root@server2 tomcat]# cd webapps/ROOT/
[root@server2 ROOT]# pwd           #tomcat默认发布目录
/usr/local/tomcat/webapps/ROOT
[root@server2 ROOT]# vim test.jsp   #自己写一个测试页面
server2 -  The time is: <%=new java.util.Date()%>

这里写图片描述

测试nginx的负载均衡

这里写图片描述

构建nginx+tomcat负载均衡

网页访问http://172.25.40.1/index.jsp
出不来效果
这里写图片描述

[root@server1 ~]# vim /usr/local/lnmp/nginx/conf/nginx.conf
 48         location / {
 49             #root   html;
 50             root /usr/local/tomcat/webapps/ROOT;
 51             index  index.html index.htm;
 52         }
[root@server1 ~]# cd /usr/local/lnmp/nginx/sbin/
[root@server1 sbin]# ./nginx -s reload

这里写图片描述

[root@server1 ~]# cd /usr/local/tomcat/webapps/ROOT/
[root@server1 ROOT]# vim test.jsp     #写一个网页
<%@ page contentType="text/html; charset=GBK" %>
<%@ page import="java.util.*" %>
<html><head><title>Cluster App Test</title></head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>
<%
out.println("<br> ID " + session.getId()+"<br>");
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
out.print("<b>Session list</b>");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String)e.nextElement();
String value = session.getAttribute(name).toString();
out.println( name + " = " + value+"<br>");
System.out.println( name + " = " + value);
}
%>
<form action="test.jsp" method="POST">
name:<input type=text size=20 name="dataName">
<br>
key:<input type=text size=20 name="dataValue">
<br>
<input type=submit>
</form>
</body>
</html>
[root@server1 ROOT]# scp test.jsp root@172.25.40.2:/usr/local/tomcat/webapps/ROOT/     #将网页传给server2

网页访问：http://172.25.40.1/test.jsp
这里写图片描述

每刷新一次，网页存储位置IP会跳变，这样不利于数据存储，容易丢失。所以要在nginx里加入算法。

[root@server1 ~]# cd /usr/local/lnmp/nginx/sbin/
[root@server1 sbin]# vim /usr/local/lnmp/nginx/conf/nginx.conf
 17 http {
 18         upstream tomcat{
 19         sticky;     #算法
 20         server 172.25.40.1:8080;
 21         server 172.25.40.2:8080;
 22         }
[root@server1 sbin]# ./nginx -s reload

这里写图片描述
将server1的tomcat关闭，网页访问自动转接server2主机

[root@server1 ~]# cd /usr/local/tomcat/
[root@server1 tomcat]# bin/shutdown.sh

网页访问：http://172.25.40.1/test.jsp此时数据只会存储在server2主机上
这里写图片描述

session共享

1.在【server1】和【server2】主机同安装memcached

[root@server1 ~]# yum install -y memcached
[root@server1 ~]# /etc/init.d/memcached start
Starting memcached:                                        [  OK  ]

把如下软件包放置到/usr/local/tomcat/lib 目录中
asm-3.2.jar   
kryo-1.04.jar      
kryo-serializers-0.10.jar     
memcached-session-manager-1.6.3.jar   
memcached-session-manager-tc7-1.6.3.jar
minlog-1.2.jar              
msm-kryo-serializer-1.6.3.jar    
reflectasm-1.01.jar       
spymemcached-2.7.3.jar

这里写图片描述

2.【server1】主机配置

[root@server1 ~]# vim /usr/local/tomcat/conf/context.xml
 34 <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
 35 memcachedNodes="n1:172.25.40.1:11211,n2:172.25.40.2:11211"
 36 failoverNodes="n1"     #节点
 37 requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
 38 transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
 39 />
[root@server1 ~]# cd /usr/local/tomcat/
[root@server1 tomcat]# bin/shutdown.sh

3.【server2】主机配置

[root@server1 ~]# vim /usr/local/tomcat/conf/context.xml

这里写图片描述
4.将【server1】tomcat关闭

[root@server1 ~]# cd /usr/local/tomcat/
[root@server1 tomcat]# bin/shutdown.sh

网页访问http://172.25.40.1/test.jsp
这里写图片描述
添加用户信息

在【server1】查看信息存储

[root@server1 ~]# yum install -y telnet
[root@server1 ~]# telnet localhost 11211

这里写图片描述
注意： tomcat不能反复开启，需要关闭后再开启。否则会增加很多进程，占用端口。如果开启不了tomcat，先查看文件是否由错误，再查看端口是否被占用，或结束进程。

nginx-sticky-module 为 nginx 的第三方模块，使 nginx 支持 sticky 模式，所谓 sticky 模式，就是指同一个用户的访问请求都被发送到同一个 tomcat 实例上处理。
访问 http://172.25.40.1/test.jsp,不同的主机访问时会调度到不同的 tomcat 实例上处理来自同一主机的请求会交给同一个 tomcat 实例处理,此时你 down 掉当前正在响应的 tomcat 实例,nginx会自动把用户的请求调度到另一个 tomcat 实例上,同时 session 也没有丢掉。