YouMe的博客

这两天在集群上提交任务时一直提交不成功，一直爆出下面的问题，如果不主动停掉就会一直刷 check your cluster UI to ensure that workers are registered and have sufficient resources，开始以为是资源不足的问题，在网上找了好多方法测试都不行，后来发现虽然一直再刷等资源的问题（下面的报错日志，以我的蹩脚英语理解为等资源，

今天再看spark ui界面“spark Jobs"的”Event Timeline“选项时发现有个excutor被移remove了。虽然任务没有报错，但是还是不放心，万一产品上线再出问题就完了，于是就在网上找了一些资料，网上关于这个问题的帖子并不多，这一个可供参考：https://stackoverflow.com/questions/35649146/spark-looses-all-exec...

Exception in thread "main" java.io.IOException: Trying to load more than 32 hfiles to one family of one region从报错日志中可以很明显看出因为Hfiles的个数超出了32默认的时32,关键时怎么改的问题，我们用的是CDH在Hbase的webui页面，没找到类似配置，通过在网上查找资料发现...

--------------组装xml并捕获异常-------------------package wondersgroup_0628.comimport java.io.{IOException, PrintWriter, StringReader, StringWriter}import java.util.Base64import com.wonders.TXmltmpim...

package wondersgroup_0905_Testimport org.apache.spark.sql.SparkSessionobject sparkHive { def main(args: Array[String]): Unit = { //数据库名称 val database ="hivetest" //表名称 val table...