1.Disruptor介绍
从功能上来看,Disruptor 是实现了“队列”的功能,而且是一个有界队列。那么它的应用场景自然就是“生产者-消费者”模型的应用场合了。
可以拿 JDK 的 BlockingQueue 做一个简单对比,以便更好地认识 Disruptor 是什么。
我们知道 BlockingQueue 是一个 FIFO 队列,生产者(Producer)往队列里发布(publish)一项事件(或称之为“消息”)时,消费者(Consumer)能获得通知;如果没有事件时,消费者被堵塞,直到生产者发布了新的事件。
Disruptor 在实现上述功能的同时,提供了很多很好的特性:
1.同一个“事件”可以有多个消费者,消费者之间既可以并行处理,也可以相互依赖形成处理的先后次序(形成一个依赖图);
2.预分配用于存储事件内容的内存空间;
3.针对极高的性能目标而实现的极度优化和无锁的设计;
简而言之,当你需要在两个独立的处理过程之间交换数据时,就可以使用 Disruptor 。当然使用队列也可以,只不过 Disruptor 的性能更好。
2.实战
本文先不具体去阐述Disruptor的工作具体原理,只是简单地将Spring与其整合。具体步骤如下:
1.在pom文件中引入disruptor
<dependency>
<groupId>com.lmax</groupId>
<artifactId>disruptor</artifactId>
<version>3.4.2</version>
</dependency>
2.创建事件
@Data
public class FeedComeEvent {
private int consumerId;
}
3.创建消息工厂
public class FeedComeEventFactory implements EventFactory {
@Override
public Object newInstance() {
return new FeedComeEvent();
}
}
4.创建消费者
@Component
public class FeedComeEventHandler implements EventHandler<FeedComeEvent>,WorkHandler<FeedComeEvent> {
@autowired
FeedMongoDao feedMongoDao;
@Override
public void onEvent(FeedComeEvent feedComeEvent, long l, boolean b) throws Exception {
this.onEvent(feedComeEvent);
}
@Override
public void onEvent(FeedComeEvent feedComeEvent) throws Exception {
feedMongoDao.log(feedComeEvent);
}
}
5.自定义异常
@Log4j2
public class FeedComeEventHandlerException implements ExceptionHandler {
@Override
public void handleEventException(Throwable throwable, long sequence, Object event) {
throwable.fillInStackTrace();
log.error("process data error sequence ==[{}] event==[{}] ,ex ==[{}]", sequence, event.toString(), throwable.getMessage());
}
@Override
public void handleOnStartException(Throwable throwable) {
log.error("start disruptor error ==[{}]!", throwable.getMessage());
}
@Override
public void handleOnShutdownException(Throwable throwable) {
log.error("shutdown disruptor error ==[{}]!", throwable.getMessage());
}
}
6.定义Disruptor服务
@Service
public class FeedComeServiceImpl implements IFeedComeService, DisposableBean,InitializingBean {
private Disruptor<FeedComeEvent> disruptor;
private static final int RING_BUFFER_SIZE = 8;
@Autowired
private FeedComeEventHandler feedComeEventHandler;
@Override
public void destroy() throws Exception {
disruptor.shutdown();
}
@Override
public void afterPropertiesSet() throws Exception {
disruptor = new Disruptor<FeedComeEvent>(new FeedComeEventFactory(),RING_BUFFER_SIZE, Executors.defaultThreadFactory(), ProducerType.SINGLE,new BlockingWaitStrategy());
disruptor.setDefaultExceptionHandler(new FeedComeEventHandlerException());
disruptor.handleEventsWith(feedComeEventHandler);
disruptor.start();
}
@Override
public void feedCome(int consumerId) {
RingBuffer<FeedComeEvent> ringBuffer = disruptor.getRingBuffer();
ringBuffer.publishEvent(new EventTranslatorOneArg<FeedComeEvent, Integer>() {
@Override
public void translateTo(FeedComeEvent event, long sequence, Integer consumerId) {
event.setConsumerId(consumerId);
}
}, consumerId);
}
}
7.使用Disruptor服务
@GetMapping("feedcome")
@ResponseBody
public String feedCome(int consumerId) {
feedComeService.feedCome(consumerId);
}
3.注意事项
在享受Disruptor框架提供的强大特性的同时,也要注意Disruptor框架带来的副作用。
根据笔者的线上应用经验,有以下几个事项需要注意:
1.仔细定义Disruptor服务相关参数: 在定义Disruptor服务的同时,需要基于部署机器的配置情况仔细确定队列长度和应用哪种消费者等待策略
2.充分的测试:Disruptor服务是一个高内存和高CPU使用的服务。因此,在系统使用Disruptor服务的时候,需要密切注意CPU和内存的使用情况,防止CPU被打爆和内存占用过高