王亮的博客

1.目的：清理一些hivebiao表中错误的坏分区2.现象： 再插入hive表的时候不小心传入了'{{yyMMdd}' 这种分区。导致hive中分区格式如下,3.处理方式无效的shan删除方式 alter table temp.test drop partition(dt='%7%7yyMMdd}') ; 无效。正确的处理方式：原文删除的方式删除 alter table temp.test drop partition(dt = '{{yyMMdd}');...

1.现象场景：在spark执行程序中会看到很多的failed但是过程能正常执行完查看如下：ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after 941664 ms表面现象的问题是直接某个机器由于心跳超时，超过一定时间没有向master发送心跳，导致master认为该机器节点挂掉，然后将任务放到别的机器上计算导致

首先在MR程序中，传值（通讯）分为Driver ->map/reduce   ， Map->Reduce两种，其实都是通过Configuration来进行的。1.前者Driver ->map/reduce 主要 通过Configuration 来进行传值，包括设置Map,Reduce的输入输出类型，找到匹配的Map,Reduce类等等。主要代码如下在Driver中配置参数，将输入的begi