RocketMQ集群配置 / localtransactionexecuter

Broker集群部署方式主要有以下几种：（Slave 不可写，但可读）

（1）单个Master

这种方式风险较大，一旦Broker 重启或者宕机时，会导致整个服务不可用，不建议线上环境使用。

（2）多Master模式

一个集群无 Slave，全是 Master，例如 2 个 Master 或者 3 个 Master。

  优点：配置简单，单个Master 宕机或重启维护对应用无影响，在磁盘配置为 RAID10 时，即使机器宕机不可恢复情况下，由与 RAID10 磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢）。性能最高。
   缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到受到影响。

#先启动 NameServer，例如机器 IP 为：192.168.36.189:9876
nohup ./bin/mqnamesrv >/dev/null 2>&1 & 

#在机器 A，启动第一个 Master
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-noslave/broker-a.properties >/dev/null 2>&1 & 

#在机器 B，启动第二个 Master
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-noslave/broker-b.properties >/dev/null 2>&1 & 

（3）多Master多Slave模式，异步复制

每个 Master 配置一个 Slave，有多对Master-Slave，HA 采用异步复制方式，主备有短暂消息延迟，毫秒级。
   优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为 Master 宕机后，消费者仍然可以从 Slave 消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。
   缺点：Master 宕机，磁盘损坏情况，会丢失少量消息。

 #先启动 NameServer，例如机器 IP 为：192.168.36.189:9876
nohup ./bin/mqnamesrv >/dev/null 2>&1 & 
#在机器 A，启动第一个 Master
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 & 
#在机器 B，启动第二个 Master
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 & 
#在机器 C，启动第一个 Slave
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 & 
#在机器 D，启动第二个 Slave
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 & 

（4）多Master多Slave模式，同步双写

每个 Master 配置一个 Slave，有多对Master-Slave，HA 采用同步双写方式，主备都写成功，向应用返回成功。

   优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高
   缺点：性能比异步复制模式略低，大约低 10%左右，发送单个消息的 RT 会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。

#先启动 NameServer，例如机器 IP 为：192.168.36.189:9876
nohup ./bin/mqnamesrv >/dev/null 2>&1 & 

#在机器 A，启动第一个 Master
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 & 

#在机器 B，启动第二个 Master
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-sync/broker-b.properties >/dev/null 2>&1 & 

#在机器 C，启动第一个 Slave
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 & 
#在机器 D，启动第二个 Slave
nohup ./bin/mqbroker -n 192.168.36.189:9876 -c ./conf/2m-2s-sync/broker-b-s.properties >/dev/null 2>&1 & 

以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对，Master 的 BrokerId 必须是 0，Slave 的BrokerId 必须是大与 0 的数。另外一个 Master 下面可以挂载多个 Slave，同一 Master 下的多个 Slave 通过指定不同的 BrokerId 来区分。
   除此之外，nameserver也需要集群。

下面以配置一主一备(同步)，2个nameserver为例测试。

1、环境两台机器：

192.168.36.54  为主

192.168.36.189 为备

同时在2台机器个启动一个nameserver。安装RocketMq请参考：http://blog.youkuaiyun.com/zhu_tianwei/article/details/40948447

2.修改配置

（1）创建目录

mkdir   /home/rocket/alibaba-rocketmq/logs   #创建日志目录

mkdir -p /home/rocket/alibaba-rocketmq/data/store/commitlog  #创建数据存储目录

更改日志目录

cd /home/rocket/alibaba-rocketmq/conf
sed -i  's#${user.home}#${user.home}/alibaba-rocketmq#g' *.xml

（2）修改主配置

vi ./conf/2m-2s-sync/broker-a.properties

[plain]  view plain copy print ?

1. brokerClusterName=DefaultCluster  
2. brokerName=broker-a  
3. brokerId=0  
4. namesrvAddr=192.168.36.189:9876;192.168.36.54:9876  
5. defaultTopicQueueNums=4  
6. autoCreateTopicEnable=true  
7. autoCreateSubscriptionGroup=true  
8. listenPort=10911  
9. deleteWhen=04  
10. fileReservedTime=120  
11. mapedFileSizeCommitLog=1073741824  
12. mapedFileSizeConsumeQueue=50000000  
13. destroyMapedFileIntervalForcibly=120000  
14. redeleteHangedFileInterval=120000  
15. diskMaxUsedSpaceRatio=88  
16.   
17. storePathRootDir=/home/rocket/alibaba-rocketmq/data/store  
18. storePathCommitLog=/home/rocket/alibaba-rocketmq/data/store/commitlog  
19. maxMessageSize=65536  
20. flushCommitLogLeastPages=4  
21. flushConsumeQueueLeastPages=2  
22. flushCommitLogThoroughInterval=10000  
23. flushConsumeQueueThoroughInterval=60000  
24.   
25. checkTransactionMessageEnable=false  
26. sendMessageThreadPoolNums=128  
27. pullMessageThreadPoolNums=128  
28.   
29. brokerRole=SYNC_MASTER  
30. flushDiskType=ASYNC_FLUSH  

（3）修改备配置

[plain]  view plain copy print ?

1. brokerClusterName=DefaultCluster  
2. brokerName=broker-a  
3. brokerId=1  
4. namesrvAddr=192.168.36.189:9876;192.168.36.54:9876  
5. defaultTopicQueueNums=4  
6. autoCreateTopicEnable=true  
7. autoCreateSubscriptionGroup=true  
8. listenPort=10911  
9. deleteWhen=04  
10. fileReservedTime=120  
11. mapedFileSizeCommitLog=1073741824  
12. mapedFileSizeConsumeQueue=50000000  
13. destroyMapedFileIntervalForcibly=120000  
14. redeleteHangedFileInterval=120000  
15. diskMaxUsedSpaceRatio=88  
16.   
17. storePathRootDir=/home/rocket/alibaba-rocketmq/data/store  
18. storePathCommitLog=/home/rocket/alibaba-rocketmq/data/store/commitlog  
19. maxMessageSize=65536  
20. flushCommitLogLeastPages=4  
21. flushConsumeQueueLeastPages=2  
22. flushCommitLogThoroughInterval=10000  
23. flushConsumeQueueThoroughInterval=60000  
24.   
25. checkTransactionMessageEnable=false  
26. sendMessageThreadPoolNums=128  
27. pullMessageThreadPoolNums=128  
28.   
29. brokerRole=SLAVE  
30. flushDiskType=ASYNC_FLUSH  

3.启动两台nameserver

nohup ./bin/mqnamesrv >/dev/null 2>&1 &

4.启动2台broker

主：nohup ./bin/mqbroker -c ./conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 & 

备：nohup ./bin/mqbroker -c ./conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 & 

ok，配置启动完成。

实例：

1.消费者Consumer.java  ，采用主动拉取方式消费。

[java]  view plain copy print ?

1. package cn.slimsmart.rocketmq.demo.cluster;  
2.   
3. import java.util.HashMap;  
4. import java.util.List;  
5. import java.util.Map;  
6. import java.util.Set;  
7.   
8. import com.alibaba.rocketmq.client.consumer.DefaultMQPullConsumer;  
9. import com.alibaba.rocketmq.client.consumer.PullResult;  
10. import com.alibaba.rocketmq.client.exception.MQClientException;  
11. import com.alibaba.rocketmq.common.message.MessageExt;  
12. import com.alibaba.rocketmq.common.message.MessageQueue;  
13.   
14. //消费者 pull  
15. public class Consumer {  
16.   
17.     // Java缓存  
18.     private static final Map<MessageQueue, Long> offseTable = new HashMap<MessageQueue, Long>();  
19.   
20.     /** 
21.      * 主动拉取方式消费 
22.      *  
23.      * @throws MQClientException 
24.      */  
25.     public static void main(String[] args) throws MQClientException {  
26.         /** 
27.          * 一个应用创建一个Consumer，由应用来维护此对象，可以设置为全局对象或者单例<br> 
28.          * 注意：ConsumerGroupName需要由应用来保证唯一 ,最好使用服务的包名区分同一服务,一类Consumer集合的名称， 
29.          * 这类Consumer通常消费一类消息，且消费逻辑一致 
30.          * PullConsumer：Consumer的一种，应用通常主动调用Consumer的拉取消息方法从Broker拉消息，主动权由应用控制 
31.          */  
32.         DefaultMQPullConsumer consumer = new DefaultMQPullConsumer("ConsumerGroupName");  
33.         // //nameserver服务  
34.         consumer.setNamesrvAddr("192.168.36.189:9876;192.168.36.54:9876");  
35.         consumer.setInstanceName("Consumber");  
36.         consumer.start();  
37.         // 拉取订阅主题的队列，默认队列大小是4  
38.         Set<MessageQueue> mqs = consumer.fetchSubscribeMessageQueues("TopicTest1");  
39.         for (MessageQueue mq : mqs) {  
40.             System.out.println("Consume from the queue: " + mq);  
41.             SINGLE_MQ: while (true) {  
42.                 try {  
43.                     PullResult pullResult = consumer.pullBlockIfNotFound(mq, null, getMessageQueueOffset(mq), 32);  
44.                     List<MessageExt> list = pullResult.getMsgFoundList();  
45.                     if (list != null && list.size() < 100) {  
46.                         for (MessageExt msg : list) {  
47.                             System.out.println(new String(msg.getBody()));  
48.                         }  
49.                     }  
50.                     System.out.println(pullResult.getNextBeginOffset());  
51.                     putMessageQueueOffset(mq, pullResult.getNextBeginOffset());  
52.                     switch (pullResult.getPullStatus()) {  
53.                     case FOUND:  
54.                         break;  
55.                     case NO_MATCHED_MSG:  
56.                         break;  
57.                     case NO_NEW_MSG:  
58.                         break SINGLE_MQ;  
59.                     case OFFSET_ILLEGAL:  
60.                         break;  
61.                     default:  
62.                         break;  
63.                     }  
64.                 } catch (Exception e) {  
65.                     e.printStackTrace();  
66.                 }  
67.             }  
68.         }  
69.         consumer.shutdown();  
70.     }  
71.   
72.     private static void putMessageQueueOffset(MessageQueue mq, long offset) {  
73.         offseTable.put(mq, offset);  
74.     }  
75.   
76.     private static long getMessageQueueOffset(MessageQueue mq) {  
77.         Long offset = offseTable.get(mq);  
78.         if (offset != null) {  
79.             System.out.println(offset);  
80.             return offset;  
81.         }  
82.         return 0;  
83.     }  
84. }  

2.生产者Producer.java ,TransactionMQProducer使用

[java]  view plain copy print ?

1. package cn.slimsmart.rocketmq.demo.cluster;  
2.   
3. import java.util.concurrent.TimeUnit;  
4.   
5. import com.alibaba.rocketmq.client.exception.MQClientException;  
6. import com.alibaba.rocketmq.client.producer.LocalTransactionExecuter;  
7. import com.alibaba.rocketmq.client.producer.LocalTransactionState;  
8. import com.alibaba.rocketmq.client.producer.SendResult;  
9. import com.alibaba.rocketmq.client.producer.TransactionCheckListener;  
10. import com.alibaba.rocketmq.client.producer.TransactionMQProducer;  
11. import com.alibaba.rocketmq.common.message.Message;  
12. import com.alibaba.rocketmq.common.message.MessageExt;  
13.   
14. //生产者  
15. public class Producer {  
16.   
17.     public static void main(String[] args) throws MQClientException,  
18.             InterruptedException {  
19.         /** 
20.          * 一个应用创建一个Producer，由应用来维护此对象，可以设置为全局对象或者单例<br> 
21.          * 注意：ProducerGroupName需要由应用来保证唯一,一类Producer集合的名称，这类Producer通常发送一类消息，且发送逻辑一致<br> 
22.          * ProducerGroup这个概念发送普通的消息时，作用不大，但是发送分布式事务消息时，比较关键， 
23.          * 因为服务器会回查这个Group下的任意一个Producer 
24.          */  
25.         final TransactionMQProducer producer = new TransactionMQProducer("ProducerGroupName");  
26.         //nameserver服务  
27.         producer.setNamesrvAddr("192.168.36.189:9876;192.168.36.54:9876");  
28.         producer.setInstanceName("Producer");  
29.   
30.         /** 
31.          * Producer对象在使用之前必须要调用start初始化，初始化一次即可<br> 
32.          * 注意：切记不可以在每次发送消息时，都调用start方法 
33.          */  
34.         producer.start();  
35.         //服务器回调Producer，检查本地事务分支成功还是失败  
36.         producer.setTransactionCheckListener( new TransactionCheckListener() {  
37.               
38.             public LocalTransactionState checkLocalTransactionState(MessageExt msg) {  
39.                 System.out.println("checkLocalTransactionState --"+new String(msg.getBody()));  
40.                 return LocalTransactionState.COMMIT_MESSAGE;  
41.             }  
42.         });  
43.   
44.         /** 
45.          * 下面这段代码表明一个Producer对象可以发送多个topic，多个tag的消息。 
46.          * 注意：send方法是同步调用，只要不抛异常就标识成功。但是发送成功也可会有多种状态，<br> 
47.          * 例如消息写入Master成功，但是Slave不成功，这种情况消息属于成功，但是对于个别应用如果对消息可靠性要求极高，<br> 
48.          * 需要对这种情况做处理。另外，消息可能会存在发送失败的情况，失败重试由应用来处理。 
49.          */  
50.           
51.         for (int i = 0; i < 10; i++) {  
52.             try {  
53.                 {  
54.                     Message msg = new Message("TopicTest1",// topic  
55.                             "TagA",// tag  
56.                             "OrderID001",// key消息关键词，多个Key用KEY_SEPARATOR隔开（查询消息使用）  
57.                             ("Hello MetaQA").getBytes());// body  
58.                     SendResult sendResult = producer.sendMessageInTransaction(msg,new Producer().new MyTransactionExecuter(),"
    $$$");  
59.                     System.out.println(sendResult);  
60.                 }  
61.   
62.                 {     
63.                     Message msg = new Message("TopicTest2",// topic  
64.                             "TagB",// tag  
65.                             "OrderID0034",// key 消息关键词，多个Key用KEY_SEPARATOR隔开（查询消息使用）  
66.                             ("Hello MetaQB").getBytes());// body  
67.                     SendResult sendResult = producer.sendMessageInTransaction(msg,new Producer().new MyTransactionExecuter(),"
    $$$");  
68.                     System.out.println(sendResult);  
69.                 }  
70.   
71.                 {  
72.                     Message msg = new Message("TopicTest3",// topic  
73.                             "TagC",// tag  
74.                             "OrderID061",// key  
75.                             ("Hello MetaQC").getBytes());// body  
76.                     SendResult sendResult = producer.sendMessageInTransaction(msg,new Producer().new MyTransactionExecuter(),"
    $$$");  
77.                     System.out.println(sendResult);  
78.                 }  
79.             } catch (Exception e) {  
80.                 e.printStackTrace();  
81.             }  
82.             TimeUnit.MILLISECONDS.sleep(1000);  
83.         }  
84.   
85.         /** 
86.          * 应用退出时，要调用shutdown来清理资源，关闭网络连接，从MetaQ服务器上注销自己 
87.          * 注意：我们建议应用在JBOSS、Tomcat等容器的退出钩子里调用shutdown方法 
88.          */  
89.         // producer.shutdown();  
90.         Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {  
91.             public void run() {  
92.                 producer.shutdown();  
93.             }  
94.         }));  
95.         System.exit(0);  
96.     }  
97.       
98.     //执行本地事务，由客户端回调  
99.     public class MyTransactionExecuter implements LocalTransactionExecuter{  
100.   
101.         public LocalTransactionState executeLocalTransactionBranch(Message msg, Object arg) {  
102.             System.out.println("executeLocalTransactionBranch--msg="+new String(msg.getBody()));  
103.             System.out.println("executeLocalTransactionBranch--arg="+arg);  
104.             return LocalTransactionState.COMMIT_MESSAGE;  
105.         }  
106.           
107.     }  
108. }  

实例代码：http://download.youkuaiyun.com/detail/tianwei7518/8138705