<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[u014158708的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u014158708</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u014158708]]></copyright><item><title><![CDATA[map和reduce 个数的设定 （Hive优化）经典]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/50474606</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/50474606</guid><author>u014158708</author><pubDate>Thu, 07 Jan 2016 10:44:39 +0800</pubDate><description><![CDATA[转载自：http://blog.sina.com.cn/s/blog_9f48885501017dua.html 谷腾龙的博客


一、   控制hive任务中的map数: 

1.   通常情况下，作业会通过input的目录产生一个或者多个map任务。 
主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set]]></description><category></category></item><item><title><![CDATA[hive的数据类型和数据模型]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/50130191</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/50130191</guid><author>u014158708</author><pubDate>Tue, 01 Dec 2015 15:31:13 +0800</pubDate><description><![CDATA[转载自：http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.html



hive支持两种数据类型：基本和复杂数据类型
          基本包括数值型（tinyint/smallint/int/bigint/flout/double）、布尔型（true/false）、字符串型（string）、binary、ti]]></description><category></category></item><item><title><![CDATA[[陷阱]HIVE外部分区表一定要增加分区]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49742143</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49742143</guid><author>u014158708</author><pubDate>Mon, 09 Nov 2015 18:16:51 +0800</pubDate><description><![CDATA[刚开始玩HIVE外部表可能会遇到的小陷阱。


         只要我们牢记外部表也是一种表就可以，普通表有分区，外部表也是有分区的。所以如果是基于分区表创建的外部表一定要对外部表执行ALTER TABLE table_name    

         ADD  PARTITION。否则是根本访问不到数据的。


         例子应该会更直观：
         原始]]></description><category></category></item><item><title><![CDATA[hive的查询注意事项以及优化总结]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49738505</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49738505</guid><author>u014158708</author><pubDate>Mon, 09 Nov 2015 14:52:18 +0800</pubDate><description><![CDATA[Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，
所以需要去掉原有关系型数据库下开发的一些固有思维。
基本原则：
1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段
select ... from A
join B
on]]></description><category></category></item><item><title><![CDATA[hive错误集锦]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49737791</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49737791</guid><author>u014158708</author><pubDate>Mon, 09 Nov 2015 14:04:19 +0800</pubDate><description><![CDATA[1.
Total jobs = 1
Stage-1 is selected by condition resolver.
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 999
In order to change the average load]]></description><category></category></item><item><title><![CDATA[Hive 表连接]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49724555</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49724555</guid><author>u014158708</author><pubDate>Sun, 08 Nov 2015 23:08:59 +0800</pubDate><description><![CDATA[hive表连接需要成转换一个mapreduce的作业提交到hadoop上完成。

等值连接（连接条件“=”）

不等值连接（连接条件“

外连接

自连接]]></description><category></category></item><item><title><![CDATA[Hive QL]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49683941</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49683941</guid><author>u014158708</author><pubDate>Fri, 06 Nov 2015 15:46:02 +0800</pubDate><description><![CDATA[自：http://sishuok.com/forum/blogPost/list/0/6227.html 转载



第一部分：ＤＤＬ 

DDL 

•建表 
•删除表 
•修改表结构 
•创建／删除视图 
•创建数据库 
•显示命令 
建表 
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
  [(col_]]></description><category></category></item><item><title><![CDATA[Hive 参数]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49683897</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49683897</guid><author>u014158708</author><pubDate>Fri, 06 Nov 2015 15:42:52 +0800</pubDate><description><![CDATA[自：http://sishuok.com/forum/blogPost/list/0/6225.html转载

hive.exec.max.created.files 


•说明：所有hive运行的map与reduce任务可以产生的文件的和 
•默认值:100000  



hive.exec.dynamic.partition

•说明：是否为自动分区 
•默认值：]]></description><category></category></item><item><title><![CDATA[T检验]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49666253</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49666253</guid><author>u014158708</author><pubDate>Thu, 05 Nov 2015 18:19:09 +0800</pubDate><description><![CDATA[http://jingyan.baidu.com/article/d621e8da0db4022865913f18.html1.单样本T检验分析—>比较均值—>单样本T检验 
适用：单个变量的均值是否与指定常数不同； 
场景：如某班级今年期末考试成绩的平均分？=(是否等于)去年考试的平均分提供检验值，即举例中的“平均分”选项设置按分析顺序移除个案：每个T检验均使用对于检验的变量具有有效数据的全部个案]]></description><category></category></item><item><title><![CDATA[ip,pv,uv]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49662777</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49662777</guid><author>u014158708</author><pubDate>Thu, 05 Nov 2015 14:56:15 +0800</pubDate><description><![CDATA[ip,pv,uvPV(页面访问量)：即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次 
UV(独立访客/用户数)：即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。 
IP(独立IP/地址来源)：即Internet Protocol（网络之间互连的协议）的缩写，中文简称为“网协”,也就是为计算机网络相互连接进]]></description><category></category></item><item><title><![CDATA[T检验与F检验的区别（通俗理解）]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49585561</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49585561</guid><author>u014158708</author><pubDate>Mon, 02 Nov 2015 13:53:44 +0800</pubDate><description><![CDATA[转载自：一抹新绿的博客（新浪）
http://blog.sina.com.cn/s/blog_4ee13c2c01016div.html


1，T检验和F检验的由来
一般而言，为了确定从样本(sample)统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。
 
通过把所得到的统计检定值，与统计学家建立了一些随机变量的概率分布(probabili]]></description><category></category></item><item><title><![CDATA[SQL datediff （时间差）]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49514437</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49514437</guid><author>u014158708</author><pubDate>Fri, 30 Oct 2015 17:25:31 +0800</pubDate><description><![CDATA[通常，你需要获得当前日期和计算一些其他的日期，例如，你的程序可能需要判断一个月的第一天或者最后一天。你们大部分人大概都知道怎样把日期进行分割（年、月、日等），然后仅仅用分割出来的年、月、日等放在几个函数中计算出自己所需要的日期！
　　在这篇文章里，我将告诉你如何使用DATEADD和DATEDIFF函数来计算出在你的程序中可能你要用到的一些不同日期。 
                     ]]></description><category></category></item><item><title><![CDATA[hive函数参考手册]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49508431</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49508431</guid><author>u014158708</author><pubDate>Fri, 30 Oct 2015 11:16:57 +0800</pubDate><description><![CDATA[hive函数参考手册
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
1.内置运算符
1.1关系运算符




运算符

类型

说明



A = B

所有原始类型

如果A与B相等,返回TRUE,否则返回FALSE



A == B

无]]></description><category></category></item><item><title><![CDATA[hive列转行 （collect_set()）]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49335675</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49335675</guid><author>u014158708</author><pubDate>Thu, 22 Oct 2015 16:50:07 +0800</pubDate><description><![CDATA[在Hive的是用中，我们经常会有这种需求：
按照同一个id进行Ｇroup By，然后对另一个字段去重，例如下面得数据：



id pic
1 1.jpg
2 2.jpg
1 1.jpg






1
2
3
4




id
pic

1 1.jpg
2
2.jpg

1 1.jpg







此时，是用DISTINCT]]></description><category></category></item><item><title><![CDATA[$()和${}和$(())和(())]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49277153</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49277153</guid><author>u014158708</author><pubDate>Tue, 20 Oct 2015 14:42:52 +0800</pubDate><description><![CDATA[$()和${}和$(())和(())
转载自：http://www.2cto.com/os/201308/239136.html 

$()和${}的用法：
在 bash shell 中，$( ) 与 ` ` (反引号) 都是用来做命令替换用(command substitution)的。而 $( ) 并不见的每一种 shell 都能使用，若你用 bash2 的话，肯定没问题...
 ]]></description><category></category></item><item><title><![CDATA[Hive函数大全]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49126039</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49126039</guid><author>u014158708</author><pubDate>Wed, 14 Oct 2015 15:41:15 +0800</pubDate><description><![CDATA[一、关系运算：
1. 等值比较: =
         语法：A=B
         操作类型：所有基本类型
         描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE
         举例：
         hive>select 1 from lxw_dual where 1=1;
         1
2. 不等值比较: 
         语]]></description><category></category></item><item><title><![CDATA[hive调优——竖表变横表]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49122623</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49122623</guid><author>u014158708</author><pubDate>Wed, 14 Oct 2015 11:24:38 +0800</pubDate><description><![CDATA[转载自：http://gengu.iteye.com/blog/1696577



有这这样一张表t_buy_buyer_time_hongbao_asc


用户id  次序      
 购买时间
25560   1       1325345254     
25560   2       1331043510     
25560   3       1331999]]></description><category></category></item><item><title><![CDATA[vi的工作模式]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49099159</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49099159</guid><author>u014158708</author><pubDate>Tue, 13 Oct 2015 15:25:39 +0800</pubDate><description><![CDATA[Vi有三种基本的工作模式：指令行模式、文本输入模式、行末模式。他们的相互关系如下。
指令模式(Command Mode） 下输入 a、i、o进入文本输入模式(Input Mode)
文本输入模式(Input Mode) 下按ESC进入指令模式（Command Mode）
指令模式(Command Mode）下输入:进入末行模式（Last line Mode）
末行模式（Last line]]></description><category></category></item><item><title><![CDATA[Hive命令学习]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/49077777</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/49077777</guid><author>u014158708</author><pubDate>Mon, 12 Oct 2015 18:21:55 +0800</pubDate><description><![CDATA[转载自express2011的新浪博客：http://blog.sina.com.cn/s/blog_72d544900101f1i8.html
一. 显示地展示当前使用的数据库 hive> set hive.cli.print.current.db=true;

̶ 切换当前的数据库 hive(default)> USE hduser4801;
̶ 使Hive显示列头 set hive.]]></description><category></category></item><item><title><![CDATA[SQL索引一步到位]]></title><link>https://blog.youkuaiyun.com/u014158708/article/details/48809359</link><guid>https://blog.youkuaiyun.com/u014158708/article/details/48809359</guid><author>u014158708</author><pubDate>Tue, 29 Sep 2015 17:44:30 +0800</pubDate><description><![CDATA[SQL索引一步到位（此文章为“数据库性能优化二：数据库表优化”附属文章之一）
         以上文章转自：老Key - 博客园http://www.cnblogs.com/AK2012/archive/2013/01/04/2013-0104.html

 　　SQL索引在数据库优化中占有一个非常大的比例， 一个好的索引的设计，可以让你的效率提高几十甚至几百倍，在这里将带你一步步揭开他的]]></description><category></category></item></channel></rss>