偷闲小苑

数据分析后DataFrame此时有2W个分区（170W条数据），使用parquet命令，往一个hdfs文件中同时写入了大量的碎文件。提示(省略无用信息):WARN TaskSetManager: Lost task: org.apache.spark.SparkException: Task failed while writing rows.WARN TaskSetManager: Lost ta

报错提示:WARN TaskSetManager: Lost task 132.0 in stage 2.0 (TID 5951, spark047207): java.io.FileNotFoundException: /data1/spark/tmp/blockmgr-5363024d-29a4-4f6f-bf87-127b95669c7c/1c/temp_shuffle_7dad1a33-28

启动Spark Speculative后，有时候运行任务会发现如下提示：WARN TaskSetManager: Lost task 55.0 in stage 15.0 (TID 20815, spark047216)org.apache.spark.executor.CommitDeniedException: attempt_201604191557_0015_m_000055_0: Not

在大规模数据处理中，这是个比较常见的错误。报错提示org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0org.apache.spark.shuffle.FetchFailedException:Failed to connect to hostname/192

该文章写于spark1.6.2版本。 由于Fine mode对短任务性能影响过大，所以采用的是Coarse mode方式进行调度。主要的一些问题：1.6版本开始dynamic allocation无法使用 例如spark-shell之类的程序，空闲时期资源长期占用却无法释放，造成资源利用率低下。单个slave上无法启动多个executor每个mesos slave上一个application