浅析Quartz的集群配置

1 基本信息

2 Quartz的集群配置

　　Quartz是一个开源的作业调度框架，它完全由java写成，并设计用于J2SE和J2EE应用中。它提供了巨大的灵活性而不牺牲简单性。你能够用它来为执行一个作业而创建简单的或复杂的调度。它有很多特征，如：数据库支持，集群，插件，EJB作业预构建，JavaMail及其它，支持cron-like表达式等等。其中集群配置一般比较复杂，那么在Quartz中如何配置它的集群特性呢？

2.1 实现集群的基本原理

　　目前Quartz最新版本是1.6.0。Quartz是通过借助关系数据库和JDBC作业存储来实现集群管理的。

 
1. 原理

　　集群通过故障切换和负载平衡的功能，能给调度器带来高可用性和伸缩性。目前集群只能工作在JDBC-Jobstore (JobStoreTX 或者JobStoreCMT)方式下，从本质上来说，是使集群上的每一个节点通过共享同一个数据库来工作的（Quartz通过启动两个维护线程来维护数据库状态实现集群管理，一个是检测节点状态线程，一个是恢复任务线程）。

　　负载平衡是自动完成的，集群的每个节点会尽快触发任务。当一个触发器的触发时间到达时，第一个节点将会获得任务（通过锁定），成为执行任务的节点。

　　故障切换的发生是在当一个节点正在执行一个或者多个任务失败的时候。当一个节点失败了，其他的节点会检测到并且标识在失败节点上正在进行的数据库中的任务。任何被标记为可恢复（任务详细信息的"requests recovery"属性）的任务都会被其他的节点重新执行。没有标记可恢复的任务只会被释放出来，将会在下次相关触发器触发时执行。

2. 集群管理用到的表

--任务详细信息表

1. CREATE TABLE qrtz_job_details
2. (
3. JOB_NAME VARCHAR2(80) NOT NULL,
4. JOB_GROUP VARCHAR2(80) NOT NULL,
5. DESCRIPTION VARCHAR2(120) NULL,
6. JOB_CLASS_NAME VARCHAR2(128) NOT NULL,
7. IS_DURABLE VARCHAR2(1) NOT NULL,
8. IS_VOLATILE VARCHAR2(1) NOT NULL,
9. IS_STATEFUL VARCHAR2(1) NOT NULL,
10. REQUESTS_RECOVERY VARCHAR2(1) NOT NULL, --可恢复标记
11. JOB_DATA BLOB NULL,
12. PRIMARY KEY (JOB_NAME,JOB_GROUP)
13. );

--触发器与任务关联表

1. CREATE TABLE qrtz_fired_triggers
2. (
3. ENTRY_ID VARCHAR2(95) NOT NULL,
4. TRIGGER_NAME VARCHAR2(80) NOT NULL,
5. TRIGGER_GROUP VARCHAR2(80) NOT NULL,
6. IS_VOLATILE VARCHAR2(1) NOT NULL,
7. INSTANCE_NAME VARCHAR2(80) NOT NULL,
8. FIRED_TIME NUMBER(13) NOT NULL,
9. STATE VARCHAR2(16) NOT NULL,
10. JOB_NAME VARCHAR2(80) NULL,
11. JOB_GROUP VARCHAR2(80) NULL,
12. IS_STATEFUL VARCHAR2(1) NULL,
13. REQUESTS_RECOVERY VARCHAR2(1) NULL, --可恢复标记
14. PRIMARY KEY (ENTRY_ID)
15. );

--调度器状态表

1. TABLE qrtz_scheduler_state
2. (
3. INSTANCE_NAME VARCHAR2(80) NOT NULL, --调度器实例ID
4. LAST_CHECKIN_TIME NUMBER(13) NOT NULL, --上次检查时间
5. CHECKIN_INTERVAL NUMBER(13) NOT NULL, --检查时间间隔
6. RECOVERER VARCHAR2(80) NULL, --恢复调度器
7. PRIMARY KEY (INSTANCE_NAME)
8. );

2.2 集群配置

　　通过设置"org.quartz.jobStore.isClustered"属性为"true"来激活集群特性。在集群中的每一个实例都必须有一个唯一的"instance id" ("org.quartz.scheduler.instanceId" 属性), 但是应该有相同的"scheduler instance name" ("org.quartz.scheduler.instanceName")，也就是说集群中的每一个实例都必须使用相同的quartz.properties 配置文件。除了以下几种例外，配置文件的内容其他都必须相同：

 不同的线程池大小，
 不同的"org.quartz.scheduler.instanceId"属性值（这个可以很容易做到，设定为"AUTO"即可）。
 注意: 永远不要在不同的机器上运行集群，除非他们的时钟是使用某种形式的同步服务（守护）非常有规律的运行（时钟必须在一分一秒内）来达到同步。还有: 永远不要触发一个非集群的实例，如果其他的实例正在同一个数据库表上运行。你将使你的数据严重腐蚀，出现非预期行为。
 示例及详细配置说明，请参照附录Quartz配置文件说明。

3 附录

3.1 Quartz配置文件说明

3.1.1 Quartz配置文件基本说明

　　文件名称：默认文件名称quartz.properties，可以通过更改系统属性“org.quartz.properties”来加载自定义的配置。
　　格式：属性文件

3.1.2 Quartz配置文件详细说明

3.1.2.1 Scheduler主要属性的配置

 

1. # Scheduler主要属性的一般定义模式如下：
2. #
3. # org.quartz.scheduler.instanceName = SCHED_NAME
4. # org.quartz.scheduler.instanceId = INSTANCE_ID
5. # org.quartz.scheduler.threadName = THREAD_NAME
6. # org.quartz.scheduler.rmi.export = false
7. # org.quartz.scheduler.rmi.proxy = false
8. # org.quartz.scheduler.rmi.registryHost = localhost
9. # org.quartz.scheduler.rmi.registryPort = 1099
10. # org.quartz.scheduler.rmi.createRegistry = never
11. # org.quartz.scheduler.userTransactionURL = USER_TX_LOCATION
12. # org.quartz.scheduler.wrapJobExecutionInUserTransaction = JOBS_IN_USER_TX
13. # org.quartz.scheduler.idleWaitTime = IDLE_WAIT_TIME
14. # org.quartz.scheduler.dbFailureRetryInterval = DB_FAILURE_RETRY_INTERVAL
15. # org.quartz.scheduler.classLoadHelper.class = CLASS_LOAD_HELPER_CLASS
16. # org.quartz.context.key.SOME_KEY = SOME_VALUE

 

下面是具体说明：

3.1.2.2 线程池（ThreadPool）的配置

下面是具体说明： 

1. # 定制一个线程池的一般模式如下：
2. #
3. # org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
4. # org.quartz.threadPool.threadCount = THREAD_COUNT
5. # org.quartz.threadPool.threadPriority = THREAD_PRIO
6. #
7. # 简单线程池（SimpleThreadPool）的选项参数：
8. #
9. # org.quartz.threadPool.makeThreadsDaemons = DAEMON_THREADS
10. # org.quartz.threadPool.threadsInheritGroupOfInitializingThread = INHERIT_GRP
11. # org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = INHERIT_LDR
12. #
13. # or
14. #
15. # org.quartz.threadPool.class = com.mycompany.goo.FooThreadPool
16. # org.quartz.threadPool.somePropOfFooThreadPool = someValue
17. #

3.1.2.3 任务存储（JobStore）的配置

1. #
2. # 定义一个任务存储的一般模式如下：
3. #
4. # org.quartz.jobStore.class = org.quartz.simpl.RAMJobStore
5. # org.quartz.jobStore.misfireThreshold = MISFIRE_THRESHOLD
6. #
7. # or
8. #
9. # org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.<JobStoreClass>
10. # JobStoreClass 是下面其中的一个：
11. # - JobStoreTX 用于单机（standalone-Quartz）实现
12. # - JobStoreCMT 用于基于应用服务器容器管理事务（appserver-based container-managed transaction ）的Quartz 实现
13. #
14. # org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.<DriverDelegateClass>
15. # DriverDelegateClass 是下面其中的一个：
16. # - StdJDBCDelegate (用于许多 JDBC-compliant drivers)
17. # - MSSQLDelegate (用于 Microsoft SQL Server drivers)
18. # - PostgreSQLDelegate (用于 PostgreSQL drivers)
19. # - WebLogicDelegate (用于 WebLogic drivers)
20. # - oracle.OracleDelegate (用于 Oracle drivers)
21. #
22. # org.quartz.jobStore.useProperties = USE_PROPERTIES
23. # org.quartz.jobStore.dataSource = DS_NAME
24. # org.quartz.jobStore.tablePrefix = TABLE_PREFIX
25. # org.quartz.jobStore.isClustered = IS_CLUSTERED
26. # org.quartz.jobStore.selectWithLockSQL = LOCKING_SELECT_STATEMENT
27. # org.quartz.jobStore.dontSetAutoCommitFalse = DONT_TURN_OFF_AUTO_COMMIT
28. # org.quartz.jobStore.maxMisfiresToHandleAtATime = MAX_MISFIRE_HANDLE
29. # org.quartz.jobStore.txIsolationLevelSerializable = SERIALIZABLE_ISOLATION
30. #
31. # 如果你使用JobStoreCMT，你还需要下面的参数：
32. #
33. # org.quartz.jobStore.nonManagedTXDataSource = NON_MANAGED_TX_DS_NAME
34. #
35. # 并且如果你使用JobStoreCMT，下面的参数是可选的：
36. #
37. # org.quartz.jobStore.dontSetNonManagedTXConnectionAutoCommitFalse = DONT_TURN_OFF_AUTO_COMMIT
38. # org.quartz.jobStore.txIsolationLevelReadCommitted = READ_COMMITTED_ISOLATION
39. #
40. #
41. # 或者，使用一个用户自定义JobStore实现：
42. #
43. # org.quartz.jobStore.class = com.mycompany.goo.FooJobStore
44. # org.quartz.jobStore.somePropOfFooJobStore = someValue
45. #
46. #

下面是具体说明：

 

3.1.2.4 数据源的配置

1. # (只有当使用JDBCJobStore时需要, 或者一个插件需要JDBC)
2. # -- 如果你的Scheduler非常忙碌，比如在一定的线程池内执行相同数目的任务，那么你应让数据源的连接数等于线程数 + 1
3. #
4. # 数据源定义的一般模式如下：
5. #
6. # org.quartz.dataSource.NAME.driver = DRIVER_CLASS_NAME
7. # org.quartz.dataSource.NAME.URL = DB_URL
8. # org.quartz.dataSource.NAME.user = DB_USER
9. # org.quartz.dataSource.NAME.password = DB_PASSWORD
10. # org.quartz.dataSource.NAME.maxConnections = DB_POOL_SIZE
11. # org.quartz.dataSource.NAME.validationQuery= VALIDATION_QUERY
12. #
13. # or
14. #
15. # org.quartz.dataSource.NAME.jndiURL = DB_JNDI_URL
16. #
17. # or
18. # org.quartz.dataSource.NAME.jndiURL = DB_JNDI_URL
19. # org.quartz.dataSource.NAME.jndiAlwaysLookup = DB_JNDI_ALWAYS_LOOKUP
20. # org.quartz.dataSource.NAME.java.naming.factory.initial = JNDI_CTXT_FACTORY
21. # org.quartz.dataSource.NAME.java.naming.provider.url = JNDI_PROVIDER_URL
22. # org.quartz.dataSource.NAME.java.naming.security.principal = JNDI_PRINCIPAL
23. # org.quartz.dataSource.NAME.java.naming.security.credentials = JNDI_CREDENTIALS
24. #
25. #

上面显示了两种数据源定义方式：一个数据源可以用给定的数据库连接信息创建，也可以是利用应用服务器管理生成的JNDI数据源的逻辑映射。
下面是具体说明：

3.1.2.5 Scheduler插件的配置

1. # SchedulerPlugin定义的一般模式如下：
2. #
3. # org.quartz.plugin.NAME.class = PLUGIN_CLASS_NAME
4. #
5. # 如果这个插件类有一些属性值需要通过"setter"方法设定, 名称和值的属性定义如下：
6. #
7. # org.quartz.plugin.NAME.propName = propValue
8. #
9. # ..."propName" 在插件类中会有一个"setPropName"方法.但是只支持原始数据类型(包括 Strings)。
10. #

配置插件的简单示例：

1. org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingTriggerHistoryPlugin
2. org.quartz.plugin.triggHistory.triggerFiredMessage = Trigger {1}.{0} fired job {6}.{5} at: {4, date, HH:mm:ss MM/dd/yyyy}
3. org.quartz.plugin.triggHistory.triggerCompleteMessage = Trigger {1}.{0} completed firing job {6}.{5} at {4, date, HH:mm:ss MM/dd/yyyy} with resulting trigger instruction code: {9}
4.  
5. org.quartz.plugin.jobInitializer.class = org.quartz.plugins.xml.JobInitializationPlugin
6. org.quartz.plugin.jobInitializer.fileName = data/my_job_data.xml
7. org.quartz.plugin.jobInitializer.overWriteExistingJobs = false
8. org.quartz.plugin.jobInitializer.failOnFileNotFound = true
9.  
10. org.quartz.plugin.shutdownhook.class = org.quartz.plugins.management.ShutdownHookPlugin
11. org.quartz.plugin.shutdownhook.cleanShutdown = true

3.1.3 示例

1. #============================================================
2. # Configure Main Scheduler Properties
3. #===========================================================
4.  
5. org.quartz.scheduler.instanceName = MyClusteredScheduler
6. org.quartz.scheduler.instanceId = AUTO
7.  
8. #===========================================================
9. # Configure ThreadPool
10. #===========================================================
11.  
12. org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
13. org.quartz.threadPool.threadCount = 25
14. org.quartz.threadPool.threadPriority = 5
15.  
16. #===========================================================
17. # Configure JobStore
18. #===========================================================
19.  
20. org.quartz.jobStore.misfireThreshold = 60000
21.  
22. org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
23. org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.oracle.OracleDelegate
24. org.quartz.jobStore.useProperties = false
25. org.quartz.jobStore.dataSource = myDS
26. org.quartz.jobStore.tablePrefix = QRTZ_
27.  
28. org.quartz.jobStore.isClustered = true
29. org.quartz.jobStore.clusterCheckinInterval = 20000
30.  
31. #===========================================================
32. # Configure Datasources
33. #===========================================================
34.  
35. org.quartz.dataSource.myDS.driver = oracle.jdbc.driver.OracleDriver
36. org.quartz.dataSource.myDS.URL = jdbc:oracle:thin:@cluster:1521:dev
37. org.quartz.dataSource.myDS.user = quartz
38. org.quartz.dataSource.myDS.password = quartz
39. org.quartz.dataSource.myDS.maxConnections = 5
40. org.quartz.dataSource.myDS.validationQuery=select 0 from dual