<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[T___Z的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/T___Z</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; T___Z]]></copyright><item><title><![CDATA[MapReduce 中 map 分片大小确定 和map任务数的计算]]></title><link>https://blog.youkuaiyun.com/T___Z/article/details/81745906</link><guid>https://blog.youkuaiyun.com/T___Z/article/details/81745906</guid><author>T___Z</author><pubDate>Thu, 16 Aug 2018 17:35:16 +0800</pubDate><description><![CDATA[Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是：

goalSize = totalSize / mapred.map.tasks

minSize = max {mapred.min.split.size, minSplitSize}

splitSize = max (minSize, min(goalSize, dfs.block.size))

...]]></description><category></category></item><item><title><![CDATA[linux  wc]]></title><link>https://blog.youkuaiyun.com/T___Z/article/details/78707185</link><guid>https://blog.youkuaiyun.com/T___Z/article/details/78707185</guid><author>T___Z</author><pubDate>Mon, 04 Dec 2017 10:40:32 +0800</pubDate><description><![CDATA[Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。

1．命令格式：

wc [选项]文件...

2．命令功能：

统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。

3．命令参数：
]]></description><category></category></item><item><title><![CDATA[HIVE总结]]></title><link>https://blog.youkuaiyun.com/T___Z/article/details/78500321</link><guid>https://blog.youkuaiyun.com/T___Z/article/details/78500321</guid><author>T___Z</author><pubDate>Fri, 10 Nov 2017 15:30:57 +0800</pubDate><description><![CDATA[hive.optimize.cp=true：列裁剪，取数只取
     在读数据的时候，只读取查询中需要用到的列，而忽略其他列。例如，对于查询：SELECT a,b FROM T     WHEREe 
hive.optimize.prunner：分区裁剪
 
LIMIT  
hive.limit.optimize.enable=true：优化LIMIT n语句
         使用]]></description><category></category></item><item><title><![CDATA[HIVE分区表新增字段后新增字段值为空,需要带分区加字段]]></title><link>https://blog.youkuaiyun.com/T___Z/article/details/78499474</link><guid>https://blog.youkuaiyun.com/T___Z/article/details/78499474</guid><author>T___Z</author><pubDate>Fri, 10 Nov 2017 14:32:02 +0800</pubDate><description><![CDATA[hive分区表新增字段后新增字段值为空的情况。

在分区表里增加字段后，向分区表插入数据有两种情况：
1.分区在修改表结构前存在
2.分区在修改表结构前不存在
对于第二种情况，即加字段后跑的分区，bug不存在
针对第一种情形，
执行alter table HIVE_TALBLE add columns(aaa string); 查分区数据新增字段值为空，
需再执行alter table  HIV...]]></description><category></category></item><item><title><![CDATA[in 和 exists 区别,not in和not exists区别]]></title><link>https://blog.youkuaiyun.com/T___Z/article/details/78497307</link><guid>https://blog.youkuaiyun.com/T___Z/article/details/78497307</guid><author>T___Z</author><pubDate>Fri, 10 Nov 2017 10:43:40 +0800</pubDate><description><![CDATA[1、in和exists

1.1

select * from A

where id in(select id from B)

以上查询使用了in语句,in()只执行一次,它查出B表中的所有id字段并缓存起来.之后,检查A表的id是否与B表中的id相等,如果相等则将A表的记录加入结果集中,直到遍历完A表的所有记录.
它的查询过程类似于以下过程

List resultSe]]></description><category></category></item><item><title><![CDATA[HIVE备份--批量导出HIVE建表语句]]></title><link>https://blog.youkuaiyun.com/T___Z/article/details/78492113</link><guid>https://blog.youkuaiyun.com/T___Z/article/details/78492113</guid><author>T___Z</author><pubDate>Thu, 09 Nov 2017 17:36:33 +0800</pubDate><description><![CDATA[在HIVE实际工程部署当中，经常会用到一些备份，其中有一项就是如何保存所有HIVE表的建表命令语句。




HIVE本身提供的语句是支持这个，只是需要批量处理。




最基本的两个语句：show tables; show create tables XXX.


建立一个SH文件，来实现批量化处理。如下：

#!/bin/bash


 hive -e "s]]></description><category></category></item></channel></rss>