zcb_data的博客

1）问题描述：如果启动消费Flume抛出如下异常ERROR hdfs.HDFSEventSink: process failedjava.lang.OutOfMemoryError: GC overhead limit exceeded2）解决方案步骤：（1）在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management

（1）在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件[mars@hadoop104 conf]$ vim kafka-flume-hdfs.conf在文件配置如下内容## 组件a1.sources=r1 r2a1.channels=c1 c2a1.sinks=k1 k2## source1##类型为kafkaa1.sources.r1.type = org.apache.flume.sou..

Flume组件的选择1）Source（1）Taildir Source相比Exec Source、Spooling Directory Source的优势TailDir Source：断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传（优选选择）。Exec Source可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。Spooling Directory Source监控目录，不支持断点续传。（2）b