学无止境

利用一个spark receiver 接收多个flume agentString host = args[0]; int port = Integer.parseInt(args[1]); String host1 = args[2]; int port1 = Integer.parseInt(args[3]); InetSocketAddress address1 = new Ine

spark streaming 如果以local 模式运行，log日志非常清楚。如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们往往错误都发生在executor里，比如典型的错误：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺忽略的excutors里，导致程序出错

从Spark Streaming 收集应用程序日志到Flume agent的配置方法由于Spark 本身也是log4j收集日志，所以我们在应用程序里再配置一个log4j。先说一下spark Streaming 启动方法，在spark 启动的时候添加以下两个参数：--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.pr