原文： http://www.w3cschool.cn/spark/9cdqmozt.html在WEB UI中的Processing Time和Scheduling Delay两个度量指标是非常重要的。第一个指标表示批数据处理的时间，第二个指标表示前面的批处理完毕之后，当前批在队列中的等待时间。如果批处理时间比批间隔时间持续更长或者队列等待时间持续增加，这就预示系统

--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=9999"

foreach，遍历每一行数据，map，一行数据执行一次，通过回调函数返回一个对象，public Object call(String arg0) throws Exception {flatMap，一行数据执行一次，通过回调函数返回一个或者多个对象， public Iterable call(String arg0) throws ExceptionmapToPair，一行数据执行一

同一个executor 中 多线使用Accumulator数据不准确，偏少，主要是Accumulator 不支持并发。

多个配置文件  用逗号分开--file  a.txt,b.txt

History Server 上有一个相关进程，启动用户是spark，父进程是cloudera-scm-agent。提交spark程序的机器有一个进程，启动用户是提交程序的用户，这里是hdfs，父进程是1，系统内核进程。线程可以直接看到SparkSubmit相关信息。Executor(Streaming任务) 进程的启动过程：(yarn-cluster模式的Driver 也是同样过程。)

在spark 算子中分配的空间，回到driver中，不被认可，因为自己分配的空间不是分布式的。比如以下代码中,到Driver中 获取ForeachImpl的map 永远是空map.

--conf spark.streaming.kafka.maxRatePerPartition=10000 \单位数据条数

RDD transformations and actions can only be invoked by the driver

AvroParquetOutputFormat.setOutputCompressorClass(job, SnappyCodec.class);SnappyCodec.class =  org.apache.parquet.hadoop.codec.SnappyCodec  有效，但是查询时一个snappy文件会被多个mapper处理SnappyCodec.class =  org.ap

1.kafka 中堆积了很多数据，spark streaming 刚开始处理的时候会报OOM异常。 Java heap space spark.streaming.receiver.maxRate=1000   针对createStream生效spark.streaming.backpressure.enabled=true   不起作用 写在代码和作为启动参数shell中，都不起作用

public class MainBak2_ {private static Logger logger = LoggerFactory.getLogger(MainBak2_.class);private static KafkaCluster kafkaCluster = null;public static void main(String[] args)

createStream 只有一个executors 分多个(可配置)receiver 从kafka 拉数据，然后分发给其他executor执行。 这点通过thread dump得到论证。createDirectStream 每个executors都会从Kafka拉数据，每个executor 从kafka的一个分区拉数据。这点通过在kafka单个节点上执行iftop -n -i em1可以看到

location=`pwd`'/'class=com.ccd.Mainjars_path='libs'jars_file='spark_jar_file.txt'echo `ls -l $location$jars_path |awk 'NR>1 {print "'"$location"'""'"$jars_path"'""/"$9}'` > $jars_filesed -i

17/02/13 15:18:05 WARN consumer.ConsumerFetcherThread: [ConsumerFetcherThread-GROUP_ID_1_], Error in fetch kafka.consumer.ConsumerFetcherThread$FetchRequest@145c6c74. Possible cause: java.nio.BufferUn

location=`pwd`'/'class=com.xxxjars_path='spark_libs'jars_file='spark_jar_file.txt'echo `ls -l $location$jars_path |awk 'NR>1 {print "'"$location"'""'"$jars_path"'""/"$9}'` > $jars_filesed -i

1.log4j 自定义输出到kafka appenderpublic class KafkaLog4jAppender2 extends AppenderSkeleton {private Producer producer = null;private String topic = null;private String brokerList = null;priva