
hive
lvmargrete
这个作者很懒,什么都没留下…
展开
-
Hive 参数
自:http://sishuok.com/forum/blogPost/list/0/6225.html转载hive.exec.max.created.files •说明:所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000 hive.exec.dynamic.partition•说明:是否为自动分区 •默认值:转载 2015-11-06 15:42:52 · 292 阅读 · 0 评论 -
map和reduce 个数的设定 (Hive优化)经典
转载自:http://blog.sina.com.cn/s/blog_9f48885501017dua.html 谷腾龙的博客一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set转载 2016-01-07 10:44:39 · 452 阅读 · 0 评论 -
hive的数据类型和数据模型
转载自:http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.htmlhive支持两种数据类型:基本和复杂数据类型 基本包括数值型(tinyint/smallint/int/bigint/flout/double)、布尔型(true/false)、字符串型(string)、binary、ti转载 2015-12-01 15:31:13 · 854 阅读 · 0 评论 -
hive调优——竖表变横表
转载自:http://gengu.iteye.com/blog/1696577有这这样一张表t_buy_buyer_time_hongbao_asc用户id 次序 购买时间25560 1 1325345254 25560 2 1331043510 25560 3 1331999转载 2015-10-14 11:24:38 · 1744 阅读 · 0 评论 -
Hive命令学习
转载自express2011的新浪博客:http://blog.sina.com.cn/s/blog_72d544900101f1i8.html一. 显示地展示当前使用的数据库 hive> set hive.cli.print.current.db=true;̶ 切换当前的数据库 hive(default)> USE hduser4801;̶ 使Hive显示列头 set hive.转载 2015-10-12 18:21:55 · 974 阅读 · 0 评论 -
[陷阱]HIVE外部分区表一定要增加分区
刚开始玩HIVE外部表可能会遇到的小陷阱。 只要我们牢记外部表也是一种表就可以,普通表有分区,外部表也是有分区的。所以如果是基于分区表创建的外部表一定要对外部表执行ALTER TABLE table_name ADD PARTITION。否则是根本访问不到数据的。 例子应该会更直观: 原始转载 2015-11-09 18:16:51 · 1317 阅读 · 0 评论 -
Hive 表连接
hive表连接需要成转换一个mapreduce的作业提交到hadoop上完成。等值连接(连接条件“=”)不等值连接(连接条件“外连接自连接原创 2015-11-08 23:08:59 · 672 阅读 · 0 评论 -
hive列转行 (collect_set())
在Hive的是用中,我们经常会有这种需求:按照同一个id进行Group By,然后对另一个字段去重,例如下面得数据:id pic1 1.jpg2 2.jpg1 1.jpg1234idpic1 1.jpg22.jpg1 1.jpg此时,是用DISTINCT转载 2015-10-22 16:50:07 · 1713 阅读 · 0 评论 -
Hive函数大全
一、关系运算:1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: 语转载 2015-10-14 15:41:15 · 408 阅读 · 0 评论 -
Hive QL
自:http://sishuok.com/forum/blogPost/list/0/6227.html 转载第一部分:DDL DDL •建表 •删除表 •修改表结构 •创建/删除视图 •创建数据库 •显示命令 建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_转载 2015-11-06 15:46:02 · 373 阅读 · 0 评论 -
hive函数参考手册
hive函数参考手册原文见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无转载 2015-10-30 11:16:57 · 933 阅读 · 0 评论