Apache+JK+Tomcat负载均衡配置

集群有别于分布式的解决方案，它采用的是每台服务器运行相同应用的策略，由负责平衡的服务器进行分流，这对提高整个系统的并发量及吞吐量是更有效的办法。而集群对请求的处理又有两种不同的方式：负载平衡、状态复制(即集群)，状态复制需要在各服务器间复制应用状态，而负载平衡则不用，每台服务器都是独立的。实践证明，在各应用服务器之间不需要状态复制的情况下，负载平衡可以达到性能的线性增长及更高的并发需求。

　　对于集群的其它基础知识，在此就不再赘述。以下就这次Apache+JK+Tomcat的负载平衡配置进行总结，重点关注整个配置及注意事项。

　　准备软件

　　1、Tomcat或JBoss（本文档中采用的是JBoss4.0.2）；

　　2、apache2.0.54是开源的Web服务器，下载地址为： http://www.apache.org/dist/httpd/binaries/ ；

　　3、mod_jk- 1.2.14-apache-2.0.54.so模块,jk是mod_jserv的替代者，它是Tomcat- Apache插件，为Apache和Tomcat的连接器，处理Tomcat和Apache之间的通信，在集群配置中充当负载均衡器的作用，当前的最新版本为1.2.15，不过不同JK版本与不同的Apache版本之间的搭配有一些差异，有的甚至配不起来。JK2是符合apache2.x系列的新品，但由于其配置太过麻烦，使用的人很少，所以目前已停止开发，所以我们采用了jk连接器，下载地址： http://www.apache.org/dist/tomcat/tomcat-connector s/jk/binaries/ 。

　　集群与负载平衡

　　使用mod_jk默认的以轮循方式进行平衡负载，假设有四个服务器节点，有10个请求，则四个节点分别接受请求编号如下：

　　节点轮循

　　而集群方式也是使用这种方法进行平衡。Tomcat中的集群原理是通过组播的方式进行节点的查找并使用 TCP连接进行会话的复制。

　　集群不同于负载平衡的是，由于集群服务需要在处理请求之间不断地进行会话复制，复制后的会话将会慢慢变得庞大，因此它的资源占用率是非常高的，如果在并发量大的应用中，复制的会话大小会变得相当大，而使用的总内存更是会迅速升高。

　　但集群的会话复制，增加了系统的高可用性。由于在每台服务器都保存有用户的Session信息，如果服务器群中某台当机，应用可以自动切换到其它服务器上继续运行，而用户的信息不会丢失，这提高了应用的冗错性。

　　具体采用负载平衡还是集群，这要看应用的需求了。

　　安装配置Apache

　　1、下载Apache的安装程序 apache_2.0.54-win32-x86-no_ssl.exe后，安装很简单，一路回车，就此略过。

　　2、安装完毕后，将下载的mod_jk-1.2.14-apache-2.0.54.so复制到Apache安装目录下的modules子目录中。

　　3、然后进入Apache安装目录下的conf子目录中，打开httpd.conf配置文件，在最后插入以下一行：

　　Include conf/mod_jk.conf

　　以上指令的目的为加载JK模块的配置文件，当然，你也可以直接将JK配置文件直接写在此处，但前者思路更加清晰。

　　4、在conf子目录下，建立一个新的配置文件：mod_jk.conf，此文件为Apache加载连接器的配置文件，文件名可修改，但要与httpd.conf中Include的文件名一致，内容如下：

　　# Load mod_jk module. Specify the filename

　　# of the mod_jk lib you’ve downloaded and

　　# installed in the previous section

　　LoadModule jk_module modules/mod_jk-1.2.14-apache-2.0.54.so

　　# Where to find workers.properties

　　JkWorkersFile conf/workers2.properties

　　# Where to put jk logs

　　JkLogFile logs/mod_jk.log

　　# Set the jk log level [debug/error/info]

　　JkLogLevel info

　　# Select the log format

　　JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

　　# JkOptions indicate to send SSL KEY SIZE,

　　JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

　　# JkRequestLogFormat set the request format

　　JkRequestLogFormat "%w %V %T"

　　# 请求分发配置，可以配置多项

　　JkMount /* loadbalancer

　　# 关掉主机Lookup，如果为on，很影响性能，可以有10多秒钟的延迟。

　　HostnameLookups Off

　　5、在 conf子目录下，建立一个新的配置文件：workers2.properties，此文件为负载平衡的配置文件，文件名不能修改，这是JK默认的名字，内容如下：

　　worker.list=loadbalancer

　　# Define the first node...

　　worker.server99.port=8009

　　worker.server99.host=192.168.11.99

　　worker.server99.type=ajp13

　　worker.server99.lbfactor=1

　　worker.server99.local_worker=1

　　worker.server99.cachesize=1000

　　worker.server99.cache_timeout=600

　　worker.server99.socket_keepalive=1

　　worker.server99.socket_timeout=0

　　worker.server99.reclycle_timeout=300

　　worker.server99.retries=3

　　# Define the second node...

　　worker.server202.port=8009

　　worker.server202.host=192.168.11.202

　　worker.server202.type=ajp13

　　worker.server202.lbfactor=1

　　worker.server202.local_worker=1

　　worker.server202.cachesize=1000

　　worker.server202.cache_timeout=600

　　worker.server202.socket_keepalive=1

　　worker.server202.socket_timeout=0

　　worker.server202.reclycle_timeout=300

　　worker.server202.retries=3

　　# Now we define the load-balancing behaviour

　　worker.loadbalancer.type=lb

　　worker.retries=3

　　worker.loadbalancer.balance_workers=server99 ,server202

　　worker.loadbalancer.sticky_session=true

　　worker.loadbalancer.sticky_session_force=true

　　注：以上定义了两个worker，一个为server99，另一个为server202，定义了一个负载平衡服务器 loadbalancer，相关的详细说明可以看官方的网站文档： http://tomcat.apache.org/connectors-doc/ ，其它节点的定义可以直接Copy，修改一下节点名及IP就好了。下面对各指令做详细的说明：

　　* worker.list=loadbalancer：设定工作的负载平衡器，各Tomcat节点不能加入此列表。

　　* worker.server99.lbfactor：负载平衡的权重比，如果此权重比越大，则分配到此节点的请求越多，如以上两个节点的权重比为1:1，则为平均分配。

　　* worker.loadbalancer.balance_workers=server99,serve r202：指定此负载平衡器负责的 Tomcat应用节点。

　　* worker.loadbalancer.sticky_session=true：此处指定集群是否需要会话复制，如果设为true，则表明为会话粘性，不进行会话复制，当某用户的请求第一次分发到哪台Tomcat后，后继的请求会一直分发到此Tomcat服务器上处理；如果设为 false，则表明需求会话复制。

　　* worker.loadbalancer.sticky_session_force=true：如果上面的sticky_session设为true 时，建议此处也设为true，此参数表明如果集群中某台Tomcat服务器在多次请求没有响应后，是否将当前的请求，转发到其它Tomcat服务器上处理；此参数在sticky_session=true时，影响比较大，会导致转发到其它Tomcat服务器上的请求，找不到原来的 session，所以如果此时请求中有读取session中某些信息的话，就会导致应用的null异常。

　　6、Apache服务器的配置文件httpd.conf中，默认有三个参数对性能的影响比较大，但根据不同的性能要求，参数的表现又不一样，太小并发提不上去，太大性能反而不好，建议根据项目的需要，实际做个测试，如并发要求800的话，可以设定为：

　　# 一个连接的最大请求数量

　　MaxKeepAliveRequests 1000（值为0，则不限制数量）

　　# 每个进程的线程数，最大1920。NT只启动父子两个进程，不能设置启动多个进程

　　ThreadsPerChild 1000（最大为1920）

　　# 每个子进程能够处理的最大请求数

　　MaxRequestsPerChild 1000（值为0，则不限制数量）

　　这三个参数要根据不同的需求，不同的服务器进行调整。

　　安装配置Tomcat或 JBoss

　　1、对于Tomcat或JBoss的安装，这里不做说明，目前我们是采用Apache+JBoss，不过，JBoss也是用的 Tomcat，所以这里的配置也是适合Tomcat的；

　　2、对于JBoss的配置，很简单，只需要改两个地方就可以了：

　　* 进入jboss-4.0.2/server/default/deploy/jbossweb-tomcat5 5.sar，打开 server.xml，大约在第32行左右，有，在其中加入一个参数，变为：

　　* 进入jboss-4.0.2/server/default/deploy/jbossweb-tomcat5 5.sar/META-INF 目录，打开jboss-service.xml，大约在110行，有false，将其改为：true

　　这里有一个需要特别注意的地方，JBoss的Tomcat中，关于AJP连接协议的默认配置，对于大并发量是不够用的，要做一些修改，进入 jboss-4.0.2/server/default/deploy/jbossweb-tomcat5 5.sar，打开server.xml，找到的地方，这里是定义AJP连接器的地方，它的配置中没有maxThreads项，默认为200，我们可以做修改：

　　emptySessionPath="true" enableLookups="false" redirectPort="8443" protocol="AJP/1.3" maxThreads="3000" />

　　maxThreads的值要看你的并发量多大，设置太大也不好。

　　运行

　　至此，整个配置全部完成，注意一点是，在各JBoss节点，重启或新增加一个JBoss节点时，需要重新启动Apache，而对于服务器群中某个JBoss节点shutdown，Apache会自动侦测，不用重新启动。

　　如果在运行过程中，群中的某个JBoss节点shutdown，则已登录到此服务器上的用户的请求将出错，此服务器负责的session将丢失，但Apache会自动侦测到此服务器已 shutdown，后继的新请求将不会再引导到此节点。

　　对于负责请求分发的Apache服务器，需要消耗大量的CPU资源，因此如果在测试过程中出现一些Service Temporarily Unavailable或Server has shut down the connection prematurely这样的错误，这一般都是服务器配置不够好引起的，或者是Apache、Tomcat、及应用中的某些配置不够使用，这时候就要考虑换更好的机器或优化应用中的配置。

　　常见问题

　　1、cannot connect to server：无法连接到服务器。这种情况是服务器的配置有问题，服务器无法承受过多的并发连接了，需要优化服务器的配置：

　　* 如操作系统采用更高版本，如windows 2003 server，优化tomcat配置：maxThreads="500" minSpareThreads="400" maxSpareThreads="450" 但是tomcat 最多支持500个并发访问

　　* 优化apache配置：ThreadsPerChild 1900, MaxRequestsPerChild 10000

　　2、 Action.c(10): Error -27791: Server has shut down the connection prematurely HTTP Status-Code=503 (Service Temporarily Unavailable)：一般都是由于服务器配置不够好引起的，需要优化硬件和调整程序了。

　　3、无法处理请求：当我们输入 ***.do 命令后，apache却返回错误信息，而连接tomcat却没有问题。原因是没有把.do命令转发给tomcat处理。解决方法为在apache配置文件中配置如下内容：

　　JkMount /*.jsp loadbalancer

　　JkMount /*.do loadbalancer