qq_38344394的博客

1.解决命令冲突    spark的启动与关闭命令与hadoop重复，直接调用可能调用的是hadoop，因此需要对spark的启动命令进行修改，将${spark_home}\sbin下的start-all.sh改为start-spark-start.sh。2.spark web访问的页面     集群页面：http://${master_ip}:8080     单机页面：http...

#bin/flume-ng agent -n a1 -f conf/a1.conf -c conf -Dflume.root.logger=INFO,console#定义agent名， source、channel、sink的名称a1.sources = r1 a1.channels = c1#具体定义sourcea1.sources.r1.type = com.bw.flume....

#bin/flume-ng agent -n agent -f conf/a3.conf -c conf -Dflume.root.logger=INFO,console#source的名字agent.sources = kafkaSource# channels的名字，建议按照type来命名agent.channels = memoryChannel# sink的名字，建议按照目标来...

package com.flume;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.interceptor.Interceptor;import java.io.UnsupportedEncodingException;import java.util.Arr...