
hive
mamls
这个作者很懒,什么都没留下…
展开
-
hive 函数
源码见 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFhttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF转载 2017-03-31 22:18:26 · 303 阅读 · 0 评论 -
INSERT OVERWRITE DIRECTORY,当map 或者reduce 数量不一样多时 不会删除之前的文件,MR执行架构有变化时,
INSERT OVERWRITE DIRECTORY,当map 或者reduce 数量不一样多时 不会删除之前的文件,MR执行架构有变化时,原创 2017-09-22 22:14:02 · 1608 阅读 · 0 评论 -
hive 查询结果压缩
set hive.exec.compress.output=true;set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;SnappyCodec原创 2017-09-22 22:04:11 · 470 阅读 · 0 评论 -
hive shell的入口
org.apache.hadoop.hive.cli.CliDriver原创 2017-09-22 22:04:36 · 283 阅读 · 0 评论 -
查看hive分区挂载的路径
describe formatted table_name partition (ptdate=20130909)原创 2017-09-21 22:30:45 · 6524 阅读 · 0 评论 -
HIVE 设置任务名称
set mapred.job.name = my_job_name原创 2017-05-05 14:04:05 · 5068 阅读 · 1 评论 -
HIVE UDAF 各阶段及调用方法
PARTIAL1 标识map阶段,会调用iterate()和terminatePartial()PARTIAL2 标识combiner阶段,会调用merge()和terminatePartial()FINAL 标识reduce阶段调用merge()和terminate()COMPLETE 标识没有reduce阶段map,调用iterate()和terminate()原创 2017-04-20 09:56:34 · 967 阅读 · 0 评论 -
hive 查看分区location
describe formatted table partition (ptdate='20170123');原创 2017-04-19 16:00:09 · 4817 阅读 · 0 评论 -
hive 常用语句
hive 常用语句创建表=================================================create EXTERNAL table IF NOT EXISTS t1 (c1 string, c2 string, c3 string, c34 string)partitioned by (ptdate string)ROW FORMA原创 2017-04-01 10:28:25 · 361 阅读 · 0 评论 -
HIVE UDAF 中的map对象及reduce对象(GenericUDAFEvaluator)
同一个reducer在HIVE UDAF中的buffer始终是一个对象,调用顺序是new==>init==>reset==>merge==>merge==>merge==>terminate merge的个数,是有多少个mapper用了同一个key。一次循环处理一个key。reset==>merge==>merge==>merge==>terminatereset==>merge原创 2017-09-22 22:10:09 · 805 阅读 · 0 评论