<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[tomson8975的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/tomson8975</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; tomson8975]]></copyright><item><title><![CDATA[nodemanager localizer进程泄漏问题]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/54931999</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/54931999</guid><author>tomson8975</author><pubDate>Wed, 08 Feb 2017 19:50:56 +0800</pubDate><description><![CDATA[这个问题的现象是在mr程序中经常有map task的状态处于new,该状态表示container已经分配，但是还未启动起来，在这中间的状态是在执行localizing，即下载资源。

一般这个过程不会持续很久，但是在监控界面上看到一个nodemanager上处于localizing状态的container长期达到半数以上。然后在这个机器上执行jps发现运行的YarnChild进程只有10个，正]]></description><category></category></item><item><title><![CDATA[Nodemanager堆内内存泄漏问题记录]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/54925347</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/54925347</guid><author>tomson8975</author><pubDate>Wed, 08 Feb 2017 12:26:07 +0800</pubDate><description><![CDATA[一.问题发现：

发现nm堆内存使用率过高：

 Nodemanager堆内内存泄漏问题记录 > image2016-12-8 15:47:0.png" src="http://10.39.0.109:8090/download/attachments/1052454/image2016-12-8%2015%3A47%3A0.png?version=1&modificationDate=1]]></description><category></category></item><item><title><![CDATA[Spark shuffle-write原理分析]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/54925292</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/54925292</guid><author>tomson8975</author><pubDate>Wed, 08 Feb 2017 12:17:34 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[队列得不到资源分配问题]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/54925278</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/54925278</guid><author>tomson8975</author><pubDate>Wed, 08 Feb 2017 12:14:51 +0800</pubDate><description><![CDATA[常常发生队列得不到资源的情况，即使没有达到fairshare阈值。

基础知识准备：

首先，需要了解fairscheduler的调度原则是什么样的：

1.首先，判断有没有达到minshare。

2.其次判断minshare/权重比大小。

3.再判断使用量/权重比大小。

 队列得不到资源分配问题 > image2017-1-5 21:15:15.png" class]]></description><category></category></item><item><title><![CDATA[Hadoop 2.x hdfs（热/冷）升级步骤]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/52412144</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/52412144</guid><author>tomson8975</author><pubDate>Fri, 02 Sep 2016 11:06:23 +0800</pubDate><description><![CDATA[热升级步骤

1.执行一次fsck，记录文件情况与升级后的fsck情况对比。

   —— ./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log

           ./bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log
           ./bin/had]]></description><category></category></item><item><title><![CDATA[Yarn 2.8.x 基于标签的调度]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/52412126</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/52412126</guid><author>tomson8975</author><pubDate>Fri, 02 Sep 2016 11:05:01 +0800</pubDate><description><![CDATA[前言：

       基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。

该特性开发现状：

      最新版本2.8.x：

                       1.不支持标签表达式，如：&&,|,*

                       2.资源共享方式不实用，如：2.]]></description><category></category></item><item><title><![CDATA[Greenplum性能调试记录]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/52064339</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/52064339</guid><author>tomson8975</author><pubDate>Fri, 29 Jul 2016 14:05:48 +0800</pubDate><description><![CDATA[前言：

         以目前的使用体验的话，Greenplum（以下简称GP）的实时性确实比较高，从存储层到计算层，数据吞吐效率比类Hadoop生态圈的sql工具要好得多。

伴随性能的提升，同时加深的是gp对硬件的要求。

        就目前的GP集群的硬件配置情况来说：

               5台22线程，64G内存，2T硬盘，千兆网卡机器（整体情况是110]]></description><category></category></item><item><title><![CDATA[Tez不能找到压缩类问题]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/52064247</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/52064247</guid><author>tomson8975</author><pubDate>Fri, 29 Jul 2016 14:02:22 +0800</pubDate><description><![CDATA[为提高程序处理效率添加了
set mapreduce.map.output.compress=true;
set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
这样会导致tez程序报错，具体错误如下： 

TaskAttempt 3 failed, info=[Error: F]]></description><category></category></item><item><title><![CDATA[Tez上线部署记录]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/52064209</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/52064209</guid><author>tomson8975</author><pubDate>Fri, 29 Jul 2016 13:59:25 +0800</pubDate><description><![CDATA[前言：

        Tez在Hive 0.13.0版本引入，全称Hive on Tez。顾名思义就是基于Tez之上的运行Hive作业的形式。具体Tez是什么？Tez是一种运算框架，MapReduce是一种运算框架，这么说应该懂了。

更具体的讲，Tez是一种内存运算框架，类似Spark的核心——RDD。

        正如刚才提到的Tez类似RDD的特性，适用于DAG运算，多]]></description><category></category></item><item><title><![CDATA[Spark on Yarn简介]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465747</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465747</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:46:01 +0800</pubDate><description><![CDATA[Spark基本配额介绍：

      每个executor （2cpu,10G)

常用参数介绍：


spark.shuffle.memoryFraction 0.5

默认是0.5，是指在shuffle阶段用于shuffle的内存配比

线上配置是0.7


        


spark.storage.memoryFraction 0.5

默认是]]></description><category></category></item><item><title><![CDATA[where top1000(X)<=10等条件谓词提前问题记录]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465635</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465635</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:40:32 +0800</pubDate><description><![CDATA[今天，遇到这样一个问题，在下面sql中：










add
 jar /opt/hadoop/yuanfeng/bdiudf.jar;

          create
 temporary function top1000 as 'com.bfd.id.Id';

          select
 a.state_date,a.customer,]]></description><category></category></item><item><title><![CDATA[UDFJson反斜杠解析出错记录]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465621</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465621</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:39:50 +0800</pubDate><description><![CDATA[这个类在org.apache.hadoop.hive.ql.udf包 下，使用org.codehaus.jackson三方库解析Json字符串。

具体在Hive udf中的名字叫get_json_object。

 

当json字符串中有反斜杠"\"时，解析会出错

如：

{"title":"思科Q4收入估$79.2亿 前景阴云笼罩","ItemType":"NewsBa]]></description><category></category></item><item><title><![CDATA[Hive参数配置以及HQL编写技巧]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465599</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465599</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:38:22 +0800</pubDate><description><![CDATA[前言


本文的意图在于根据常见hive作业运行场景，介绍hive以及hadoop的参数设置方法。

 

Group by数据倾斜：

            如果需要group by的字段有一个值或一些值出现的频率很高：

            可以用hive.groupby.skewindata参数平衡数据。

 

Map,Reduce数控制：

   ]]></description><category></category></item><item><title><![CDATA[HIVESERVER2 HA配置及使用（java）]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465549</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465549</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:35:48 +0800</pubDate><description><![CDATA[原理：
  1.1 每个hiveserver2的实例启动的时向指定的zk namespace注册自己的信息主要是HOSTNAME:PORT
  1.2 client 连接的时候首先向zk 随机获取HOSTNAME:PORT，然后建立连接。开始执行hive操作架构：
  

配置：
 3.1 修改hive-site.xml配置文件：增加以下配置
 








 ]]></description><category></category></item><item><title><![CDATA[Hiveserver2配置及优化]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465527</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465527</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:34:45 +0800</pubDate><description><![CDATA[先简单介绍下HS1和HS2的主要区别：

           HiveServer1:

                      可以看到HS的进程和MetaStore的进程是在一个虚拟机里面的，而且从图中可以看出，一个HS服务同时只能提供一个访问连接。

 

         HiveServer2:

                            
 H]]></description><category></category></item><item><title><![CDATA[Hive HBase集成]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465509</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465509</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:33:50 +0800</pubDate><description><![CDATA[1.版本

    hive0.14

    hbase0.99.2

2.编译

    由于hive0.14版本不支持hbase0.99.2，所以需要对hive源码中的hbase-handler模块中的相关类做修改，重新编译。

2.1 修改 /hbase-handler/src/java/org/apache/hadoop/hive/hbase/HBaseStorage]]></description><category></category></item><item><title><![CDATA[MapRed程序map个数控制分析]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465469</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465469</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:31:51 +0800</pubDate><description><![CDATA[前言：

        我们在线上跑的MapRed程序和Hive程序，Map数到底怎么控制？这个问题一直比较模糊，这次有机会深入代码里面去看，才了解到其实MapReduce针对不同输入格式有不同的判断文件大小的规则以及文件切片和合并的方式。下面就来具体了解一下FileInputFormat和CompositeInputFormat两种主流输入格式的处理细节。

首先在这里提一下MapRe]]></description><category></category></item><item><title><![CDATA[Hadoop Streaming使用简介]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/49465429</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/49465429</guid><author>tomson8975</author><pubDate>Wed, 28 Oct 2015 10:29:09 +0800</pubDate><description><![CDATA[示例：
$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
    -input myInputDirs \
    -output myOutputDir \
    -mapper org.apache.hadoop.mapred.lib.IdentityMapper \
    -reducer /bin/wc]]></description><category></category></item><item><title><![CDATA[dfs.datanode.max.xcievers&dfs.datanode.max.transfer.threads介绍]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/47396403</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/47396403</guid><author>tomson8975</author><pubDate>Mon, 10 Aug 2015 11:34:23 +0800</pubDate><description><![CDATA[前言：

         这篇文章主要是介绍这个参数是什么意思，他的作用和估值的参考方法。（参考自：http://blog.cloudera.com/blog/2012/03/hbase-hadoop-xceivers/）

         (dfs.datanode.max.xcievers和dfs.datanode.max.transfer.threads都是指的一个参数不过前者是]]></description><category></category></item><item><title><![CDATA[Yarn作业提交流程及RMApp状态机介绍]]></title><link>https://blog.youkuaiyun.com/tomson8975/article/details/47362809</link><guid>https://blog.youkuaiyun.com/tomson8975/article/details/47362809</guid><author>tomson8975</author><pubDate>Sat, 08 Aug 2015 22:05:47 +0800</pubDate><description><![CDATA[主要的几个状态机流程图：]]></description><category></category></item></channel></rss>