Apache+Tomcat集群实现反向代理负载均衡

本文来源于：https://blog.youkuaiyun.com/sunroyi666/article/details/52237667 ，如有不当之处，请告知删除。

一. Apache+Tomcat集群实现反向代理的负载均衡的原理：

Apache作为调度器，转发HTTP请求。然后等待实际服务器的HTTP响应，并转发给用户。
Tomcat集群作为实际的服务器，处理HTTP请求。

二. 需要安装的程序：
1. Apache2.2.4
2. 4个Tomcat7（注意修改server.xml）

三. 修改配置文件：
我这里的端口设置如下，请先确保这些端口没有被使用，也可以自己修改：

[html]  view plain  copy

1. Apache：8090  
2. Tomcat1：服务器端口：8004  
3.      HTTP端口：8080  
4.      AJP端口：8009  
5. Tomcat2：服务器端口：8005  
6.      HTTP端口：8081  
7.      AJP端口：8010  

1. Apache24\conf\httpd.conf
① Apache2以后已经集成了很多Module，因此只要把注释去掉就可以了。
我这里主要放开了下面这些Module：

[html]  view plain  copy

1. #LoadModule access_compat_module modules/mod_access_compat.so  
2. LoadModule actions_module modules/mod_actions.so  
3. LoadModule alias_module modules/mod_alias.so  
4. LoadModule allowmethods_module modules/mod_allowmethods.so  
5. LoadModule asis_module modules/mod_asis.so  
6. LoadModule auth_basic_module modules/mod_auth_basic.so  
7. #LoadModule auth_digest_module modules/mod_auth_digest.so  
8. #LoadModule auth_form_module modules/mod_auth_form.so  
9. #LoadModule authn_anon_module modules/mod_authn_anon.so  
10. LoadModule authn_core_module modules/mod_authn_core.so  
11. #LoadModule authn_dbd_module modules/mod_authn_dbd.so  
12. #LoadModule authn_dbm_module modules/mod_authn_dbm.so  
13. LoadModule authn_file_module modules/mod_authn_file.so  
14. #LoadModule authn_socache_module modules/mod_authn_socache.so  
15. #LoadModule authnz_fcgi_module modules/mod_authnz_fcgi.so  
16. #LoadModule authnz_ldap_module modules/mod_authnz_ldap.so  
17. LoadModule authz_core_module modules/mod_authz_core.so  
18. #LoadModule authz_dbd_module modules/mod_authz_dbd.so  
19. #LoadModule authz_dbm_module modules/mod_authz_dbm.so  
20. LoadModule authz_groupfile_module modules/mod_authz_groupfile.so  
21. LoadModule authz_host_module modules/mod_authz_host.so  
22. #LoadModule authz_owner_module modules/mod_authz_owner.so  
23. LoadModule authz_user_module modules/mod_authz_user.so  
24. LoadModule autoindex_module modules/mod_autoindex.so  
25. #LoadModule buffer_module modules/mod_buffer.so  
26. #LoadModule cache_module modules/mod_cache.so  
27. #LoadModule cache_disk_module modules/mod_cache_disk.so  
28. #LoadModule cache_socache_module modules/mod_cache_socache.so  
29. #LoadModule cern_meta_module modules/mod_cern_meta.so  
30. LoadModule cgi_module modules/mod_cgi.so  
31. #LoadModule charset_lite_module modules/mod_charset_lite.so  
32. #LoadModule data_module modules/mod_data.so  
33. #LoadModule dav_module modules/mod_dav.so  
34. #LoadModule dav_fs_module modules/mod_dav_fs.so  
35. #LoadModule dav_lock_module modules/mod_dav_lock.so  
36. #LoadModule dbd_module modules/mod_dbd.so  
37. #LoadModule deflate_module modules/mod_deflate.so  
38. LoadModule dir_module modules/mod_dir.so  
39. #LoadModule dumpio_module modules/mod_dumpio.so  
40. LoadModule env_module modules/mod_env.so  
41. #LoadModule expires_module modules/mod_expires.so  
42. #LoadModule ext_filter_module modules/mod_ext_filter.so  
43. #LoadModule file_cache_module modules/mod_file_cache.so  
44. #LoadModule filter_module modules/mod_filter.so  
45. #LoadModule headers_module modules/mod_headers.so  
46. #LoadModule heartbeat_module modules/mod_heartbeat.so  
47. #LoadModule heartmonitor_module modules/mod_heartmonitor.so  
48. #LoadModule http2_module modules/mod_http2.so  
49. #LoadModule ident_module modules/mod_ident.so  
50. #LoadModule imagemap_module modules/mod_imagemap.so  
51. LoadModule include_module modules/mod_include.so  
52. LoadModule info_module modules/mod_info.so  
53. LoadModule isapi_module modules/mod_isapi.so  
54. #LoadModule lbmethod_bybusyness_module modules/mod_lbmethod_bybusyness.so  
55. LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so  
56. #LoadModule lbmethod_bytraffic_module modules/mod_lbmethod_bytraffic.so  
57. #LoadModule lbmethod_heartbeat_module modules/mod_lbmethod_heartbeat.so  
58. #LoadModule ldap_module modules/mod_ldap.so  
59. #LoadModule logio_module modules/mod_logio.so  
60. LoadModule log_config_module modules/mod_log_config.so  
61. #LoadModule log_debug_module modules/mod_log_debug.so  
62. #LoadModule log_forensic_module modules/mod_log_forensic.so  
63. #LoadModule lua_module modules/mod_lua.so  
64. #LoadModule macro_module modules/mod_macro.so  
65. LoadModule mime_module modules/mod_mime.so  
66. #LoadModule mime_magic_module modules/mod_mime_magic.so  
67. LoadModule negotiation_module modules/mod_negotiation.so  
68. LoadModule proxy_module modules/mod_proxy.so  
69. LoadModule proxy_ajp_module modules/mod_proxy_ajp.so  
70. LoadModule proxy_balancer_module modules/mod_proxy_balancer.so  
71. LoadModule proxy_connect_module modules/mod_proxy_connect.so  
72. #LoadModule proxy_express_module modules/mod_proxy_express.so  
73. #LoadModule proxy_fcgi_module modules/mod_proxy_fcgi.so  
74. LoadModule proxy_ftp_module modules/mod_proxy_ftp.so  
75. #LoadModule proxy_html_module modules/mod_proxy_html.so  
76. LoadModule proxy_http_module modules/mod_proxy_http.so  
77. #LoadModule proxy_http2_module modules/mod_proxy_http2.so  
78. #LoadModule proxy_scgi_module modules/mod_proxy_scgi.so  
79. #LoadModule proxy_wstunnel_module modules/mod_proxy_wstunnel.so  
80. #LoadModule ratelimit_module modules/mod_ratelimit.so  
81. #LoadModule reflector_module modules/mod_reflector.so  
82. #LoadModule remoteip_module modules/mod_remoteip.so  
83. #LoadModule request_module modules/mod_request.so  
84. #LoadModule reqtimeout_module modules/mod_reqtimeout.so  
85. #LoadModule rewrite_module modules/mod_rewrite.so  
86. #LoadModule sed_module modules/mod_sed.so  
87. #LoadModule session_module modules/mod_session.so  
88. #LoadModule session_cookie_module modules/mod_session_cookie.so  
89. #LoadModule session_crypto_module modules/mod_session_crypto.so  
90. #LoadModule session_dbd_module modules/mod_session_dbd.so  
91. LoadModule setenvif_module modules/mod_setenvif.so  
92. #LoadModule slotmem_plain_module modules/mod_slotmem_plain.so  
93. LoadModule slotmem_shm_module modules/mod_slotmem_shm.so  
94. #LoadModule socache_dbm_module modules/mod_socache_dbm.so  
95. #LoadModule socache_memcache_module modules/mod_socache_memcache.so  
96. LoadModule socache_shmcb_module modules/mod_socache_shmcb.so  
97. #LoadModule speling_module modules/mod_speling.so  
98. LoadModule ssl_module modules/mod_ssl.so  
99. LoadModule status_module modules/mod_status.so  
100. #LoadModule substitute_module modules/mod_substitute.so  
101. #LoadModule unique_id_module modules/mod_unique_id.so  
102. #LoadModule userdir_module modules/mod_userdir.so  
103. #LoadModule usertrack_module modules/mod_usertrack.so  
104. #LoadModule version_module modules/mod_version.so  
105. #LoadModule vhost_alias_module modules/mod_vhost_alias.so  
106. #LoadModule watchdog_module modules/mod_watchdog.so  
107. #LoadModule xml2enc_module modules/mod_xml2enc.so  

② 要进行虚拟主机的设置，需要放开下面的注释：

[html]  view plain  copy

1. # Virtual hosts  
2. Include conf/extra/httpd-vhosts.conf  

2. Apache24\conf\extra\httpd-vhosts.conf
在最下面加入虚拟机配置（我Apache的端口设为8090）：

[html]  view plain  copy

1. #虚拟机配置,负载均衡配置  
2. <VirtualHost *:8090>  
3.     ServerAdmin sun@locahost  
4.     ServerName localhost  
5.     ServerAlias localhost  
6.     ProxyPass / balancer://cluster/ stickysession=JSESSIONID|jsessionid nofailover=On  
7.     ProxyPassReverse / balancer://cluster/  
8. </VirtualHost>   

在最下面加入代理服务器的配置：

[html]  view plain  copy

1. #The ProxyRequests directive should usually be set off when using ProxyPass.  
2. ProxyRequests Off  
3. <proxy balancer://cluster>  
4.     BalancerMember ajp://localhost:8009 loadfactor=1 route=jvm1  smax=5 max=20 ttl=120 retry=300 timeout=15  
5.     BalancerMember ajp://localhost:8010 loadfactor=1 route=jvm2  smax=5 max=20 ttl=120 retry=300 timeout=15  
6.     BalancerMember ajp://192.168.3.100:9009 loadfactor=1 route=jvm3  smax=5 max=20 ttl=120 retry=300 timeout=15  
7.     ProxySet lbmethod=byrequests  
8. #lbmethod=byrequests 按照请求次数均衡(默认)   
9. #lbmethod=bytraffic 按照流量均衡   
10. #lbmethod=bybusyness 按照繁忙程度均衡(总是分配给活跃请求数最少的服务器)  
11. </proxy>  

这里有几点需要注意：
① 代理服务器分发请求给各服务器的方法设置lbmethod有3种，需要去掉httpd.conf中对应Module的注释：

[html]  view plain  copy

1. #LoadModule lbmethod_bybusyness_module modules/mod_lbmethod_bybusyness.so  
2. LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so  
3. #LoadModule lbmethod_bytraffic_module modules/mod_lbmethod_bytraffic.so  

② 下面这两个就是对应的Tomcat服务器

[html]  view plain  copy

1. BalancerMember ajp://localhost:8009 loadfactor=1 route=jvm1  smax=5 max=20 ttl=120 retry=300 timeout=15  
2. BalancerMember ajp://localhost:8010 loadfactor=1 route=jvm2  smax=5 max=20 ttl=120 retry=300 timeout=15  

可以看出，他们Apache用了AJP协议与Tomcat进行通信，因此localhost后面8009和8010也必须是Tomcat中AJP协议的端口号，而不是HTTP协议的端口号8080和8081。
另外，route=jvm1和route=jvm2在Tomcat中也有设置对应，后面会说明。

③ 下面这个就有点特殊了

[html]  view plain  copy

1. BalancerMember ajp://192.168.3.100:9009 loadfactor=1 route=jvm3  smax=5 max=20 ttl=120 retry=300 timeout=15  

我这里试了一下非本机的服务器192.168.3.100
设置没问题，直接打开该服务器上的测试页面也没问题，可是从Apache就是跳不到。
后来想了一下，可能是由于这个服务器的网关与本机不一样，也就是说不是在一个局域网里面。
本机：


192.168.3.100：


3. Apache的启动

3.1. httpd.conf中，修改Apache的路径：

[html]  view plain  copy

1. Define SRVROOT "D:\Apache24"  
2. ServerRoot "${SRVROOT}"  

我的Apache的安装路径为：D:\Apache24

端口设置：

[html]  view plain  copy

1. Listen 8090  

服务器名设置：

[html]  view plain  copy

1. ServerName localhost:8090  

3.2. 在cmd里面，启动Apache服务：
① 移动到D:\Apache24\bin目录下，执行 httpd -k install

Apache2.4服务被添加到windows服务里面了。

② 执行 net start Apache2.4  ，启动Apache2.4服务


③ 删除服务用 sc delete Apache2.4
 

④ 如果有其他错误，可以去 Apache/logs/error.log 里面找

4. TomcatX\conf\server.xml
下面以Tomcat1为例：
① 服务器端口设置为8004：

[html]  view plain  copy

1. <Server port="8004" shutdown="SHUTDOWN">  

② HTTP端口设置为8080：

[html]  view plain  copy

1. <Connector port="8080" protocol="HTTP/1.1"  

③ AJP端口设置为8009：

[html]  view plain  copy

1. <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />  

④ AJP协议的jvmRoute设置：

[html]  view plain  copy

1. <Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">  

这里的jvm1与Apache的jvmRoute对应。

⑤ 在④的后面插入下面这段：

[html]  view plain  copy

1. <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"  channelSendOptions="6">   
2. <Manager className="org.apache.catalina.ha.session.BackupManager"   
3. expireSessionsOnShutdown="false"   
4. notifyListenersOnReplication="true"   
5. mapSendOptions="6"/>   
6. <!--   
7. <Manager className="org.apache.catalina.ha.session.DeltaManager"   
8. expireSessionsOnShutdown="false"   
9. notifyListenersOnReplication="true"/>   
10. -->   
11.   
12.                   <Manager className="org.apache.catalina.ha.session.DeltaManager"  
13.                    expireSessionsOnShutdown="false"  
14.                    notifyListenersOnReplication="true"/>  
15.   
16. <Channel className="org.apache.catalina.tribes.group.GroupChannel">   
17. <Membership className="org.apache.catalina.tribes.membership.McastService"   
18. address="228.0.0.4"   
19. port="45564"   
20. frequency="500"   
21. dropTime="3000"/>   
22. <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"   
23. address="auto"   
24. port="5001"   
25. selectorTimeout="100"   
26. maxThreads="6"/>   
27. <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">   
28. <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>   
29. </Sender>   
30. <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>   
31. <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>   
32. <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>   
33. </Channel>   
34. <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"   
35. filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>   
36.           <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>  
37. <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"   
38. tempDir="/tmp/war-temp/"   
39. deployDir="/tmp/war-deploy/"   
40. watchDir="/tmp/war-listen/"   
41. watchEnabled="false"/>   
42. <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>   
43. </Cluster>  

另外，有人说AJP协议端口的redirectPort和Receiver的port也要设为各Tomcat唯一，但是我没有设成唯一也没问题。

四. 测试用JSP和配置:
1. 测试用JSP

建两个同名的testCluster.jsp，分别放在Tomcat1和Tomcat2的Tomcat/webapps/ROOT下，内容稍有不同。
第一个：

[html]  view plain  copy

1. <%@ page contentType="text/html; charset=GBK" %>  
2. <%@ page import="java.util.*" %>  
3. <html><head><title>Cluster Test</title></head>  
4. <body>  
5. <%  
6.   //HttpSession session = request.getSession(true);  
7.   System.out.println(session.getId());  
8.   out.println("<br> SESSION ID:" + session.getId()+"<br>");    
9.   // 如果有新的请求，则添加session属性  
10.   String name = request.getParameter("name");  
11.   if (name != null && name.length() > 0) {  
12.      String value = request.getParameter("value");  
13.      session.setAttribute(name, value);  
14.   }    
15.     out.print("<b>Session List:</b>");    
16.     Enumeration<String> names = session.getAttributeNames();  
17.     while (names.hasMoreElements()) {  
18.         String sname = names.nextElement();   
19.         String value = session.getAttribute(sname).toString();  
20.         out.println( sname + " = " + value+"<br>");  
21.         System.out.println( sname + " = " + value);  
22.    }  
23. %>  
24.   <form action="testCluster.jsp" method="post">  
25.     名称:<input type=text size=20 name="name">  
26.      <br>  
27.     值:<input type=text size=20 name="value">  
28.      <br>  
29.     <input type=submit value="提交">  
30.    </form>  
31.   
32.    <b>负载均衡测试：此为：Tomcat1上的文件，<font color=red>111111</font><b>  
33. </body>  
34. </html>  

第二个：

[html]  view plain  copy

1. <%@ page contentType="text/html; charset=GBK" %>  
2. <%@ page import="java.util.*" %>  
3. <html><head><title>Cluster Test</title></head>  
4. <body>  
5. <%  
6.   //HttpSession session = request.getSession(true);  
7.   System.out.println(session.getId());  
8.   out.println("<br> SESSION ID:" + session.getId()+"<br>");    
9.   // 如果有新的请求，则添加session属性  
10.   String name = request.getParameter("name");  
11.   if (name != null && name.length() > 0) {  
12.      String value = request.getParameter("value");  
13.      session.setAttribute(name, value);  
14.   }    
15.     out.print("<b>Session List:</b>");    
16.     Enumeration<String> names = session.getAttributeNames();  
17.     while (names.hasMoreElements()) {  
18.         String sname = names.nextElement();   
19.         String value = session.getAttribute(sname).toString();  
20.         out.println( sname + " = " + value+"<br>");  
21.         System.out.println( sname + " = " + value);  
22.    }  
23. %>  
24.   <form action="testCluster.jsp" method="post">  
25.     名称:<input type=text size=20 name="name">  
26.      <br>  
27.     值:<input type=text size=20 name="value">  
28.      <br>  
29.     <input type=submit value="提交">  
30.    </form>  
31.   
32.    <b>负载均衡测试：此为：Tomcat2上的文件，<font color=red>222222</font><b>  
33. </body>  
34. </html>  

接下来就可以测试了：
用第一个浏览器打开http://localhost:8090/testCluster.jsp
（8090是Apache，它下面没有testCluster.jsp）
显示结果：

说明Apache把请求转给了Tomcat1。

用第二个浏览器打开http://localhost:8090/testCluster.jsp
显示结果：

说明Apache把请求转给了Tomcat2。

2. 实现Session共享，需要修改的配置文件：

在1里面按提交以后，Session会改变，jvm也会变，说明跳转到其他Tomcat以后，Session并没有保存下来。
要实现Session共享，需要在每个Tomcat/webapps/ROOT/WEB-INF/web.xml的最后插入<distributable /> ：

[html]  view plain  copy

1. <?xml version="1.0" encoding="ISO-8859-1"?>  
2. <!--  
3.  Licensed to the Apache Software Foundation (ASF) under one or more  
4.   contributor license agreements.  See the NOTICE file distributed with  
5.   this work for additional information regarding copyright ownership.  
6.   The ASF licenses this file to You under the Apache License, Version 2.0  
7.   (the "License"); you may not use this file except in compliance with  
8.   the License.  You may obtain a copy of the License at  
9.   
10.       http://www.apache.org/licenses/LICENSE-2.0  
11.   
12.   Unless required by applicable law or agreed to in writing, software  
13.   distributed under the License is distributed on an "AS IS" BASIS,  
14.   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
15.   See the License for the specific language governing permissions and  
16.   limitations under the License.  
17. -->  
18.   
19. <web-app xmlns="http://java.sun.com/xml/ns/javaee"  
20.   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
21.   xsi:schemaLocation="http://java.sun.com/xml/ns/javaee  
22.                       http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"  
23.   version="3.0"  
24.   metadata-complete="true">  
25.   
26.   <display-name>Welcome to Tomcat</display-name>  
27.   <description>  
28.      Welcome to Tomcat  
29.   </description>  
30. <distributable />   
31. </web-app>  

测试：
在上面第二个浏览器中输入值后继续提交，可以看到jvm1和jvm2虽然在切换，但是SessionID一直是 8AC1E2DAA730CB20384FB337D1762244

------------------------------------------------------------------------------

所有修改完的配置文件和测试页面在这里下载：
http://download.youkuaiyun.com/detail/sunroyi666/9605862