关于flume配置加载（二）

最新推荐文章于 2024-03-06 09:33:45 发布

weixin_34049032

最新推荐文章于 2024-03-06 09:33:45 发布

阅读量153

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/aquariusm/p/6146086.html

本文分析了Flume中MemoryChannel容量满导致的问题，并深入探讨了MemoryTransaction的容量限制及其解决方法。通过代码跟踪，揭示了问题的根本原因，并提供了可能的解决方案。

为什么翻flume的代码，一方面是确实遇到了问题，另一方面是想翻一下flume的源码，看看有什么收获，现在收获还谈不上，因为要继续总结。不够已经够解决问题了，而且确实有好的代码，后续会继续慢慢分享，这里先把启动的流程分析一下，这也是找到问题症结的关键。

至于遇到的问题如下：

Caused by: org.apache.flume.ChannelException: Put queue for MemoryTransaction of capacity 100 full, consider committing more frequently, increasing capacity or increasing thread count
at org.apache.flume.channel.MemoryChannel$MemoryTransaction.doPut(MemoryChannel.java:84)
at org.apache.flume.channel.BasicTransactionSemantics.put(BasicTransactionSemantics.java:93)
at org.apache.flume.channel.BasicChannelSemantics.put(BasicChannelSemantics.java:80)
at org.apache.flume.channel.ChannelProcessor.processEventBatch(ChannelProcessor.java:189)

从异常上大致可以看出是，MemoryTransaction的容量满了，可是容量满了？然后呢。。我们开始根据代码分析。

上一篇文章中http://www.cnblogs.com/aquariusm/p/6118976.html我们分析了flume配置加载的基础流程核心就是：flumeConfiguration.getConfiguration()方法。根据第一篇文章中的流程图，我们可以看到，加载好配置文件后，就开始启动各个组件了，即Application的如下代码：

  @Subscribe
  public synchronized void handleConfigurationEvent(MaterializedConfiguration conf) {
    stopAllComponents();
    startAllComponents(conf);
  }

在startAllComponents(conf)中，开始启动各个组件。

。。。未完待续。。。

转载于:https://www.cnblogs.com/aquariusm/p/6146086.html