SometimesNaive_

原创 Hive QL模块TezSessionState分析

原创 Hadoop HA主备切换导致JournalNode epoch增加的函数调用流程

原创 Hadoop HA中EditLogTailer的作用

/** * EditLogTailer represents a thread which periodically reads from edits * journals and applies the transactions contained within to a given * FSNamesystem. */

原创 Hdfs Active Namenode向JournalNode同步editlog流程

FSEditLog Active namenode进程上使用的类，达到条件后执行logSync()向journalnode同步最新的EditLog段 调用过程 FSEditLog.logSync(long mytxid) ->EditLogOutputStream.flush() ->EditLogOutputStream.flush(boolean durable) ->EditLogOutputStream.flushAndSync(boolean durable) ->Jour

原创 Hdfs Namenode Namespace分析

Namenode上主要占用内存的实例 org.apache.hadoop.hdfs.server.namenode.INodeFile org.apache.hadoop.hdfs.server.blockmanagement.BlockInfoContiguous org.apache.hadoop.hdfs.server.namenode.INodeDirectory org.apache.hadoop.hdfs.server.blockmanagement.BlockInfo IN

原创 NodeManager Recovery特性对Tez任务的影响

NodeManager退出对ResourceManager的影响 在直接kill nodemanager进程 或 执行/opt/hadoop/bin/yarn --daemon stop nodemanager，并且没有设置recovery时，resourcemanager上状态改为shutdown。 NodeManager部分 NodeManager.nodeManagerShutdownHook ->NodeStatusUpdaterImpl.serviceStop() (检测isNM

原创 Shell：按天执行命令的脚本

#!/bin/bash begin_date='2019-02-24' begin_date_unix=`date -d "$begin_date" +%s` end_date='2019-03-24' end_date_unix=`date -d "$end_date" +%s` while [ "$begin_date_unix" -gt "$end_date_unix" ] do ...

原创 Shell命令行判断数据库中的表是否存在

Shell命令行判断数据库中的表是否存在 Shell命令行判断数据库中的表是否存在，调用的sql语句为： select '1' from table_name limit 1; 如果表存在，数据返回1，不存在则返回错误信息。...

原创 通过反射来实现List转为JSON

import net.sf.json.JSONArray; import net.sf.json.JSONObject;import java.lang.reflect.InvocationTargetException; import java.lang.reflect.Method; import java.util.ArrayList; import java.util.Iterator; i

原创 Axis2 服务器未能识别 HTTP 头 SOAPAction 的值 的解决办法

公司的WebService服务端使用.NET生成，客户端需要使用Java来写，客户端代码如下：import org.apache.axiom.om.OMAbstractFactory; import org.apache.axiom.om.OMElement; import org.apache.axiom.om.OMFactory; import org.apache.axiom.om.OMNam