
hive
文章平均质量分 85
52Pig
这个作者很懒,什么都没留下…
展开
-
hive中的排序
order byorder by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。Sql代码 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; o原创 2014-10-10 14:40:10 · 780 阅读 · 0 评论 -
写hive sql和shell脚本时遇到几个蛋疼的问题!
错误一:Hive的where中不能用别名, 错误二:hive的groupby中不能用自定义函数,否则报错(用嵌套select代替) 错误三:执行:$ ./hive_game_operationstatis5.sh 报错信息如下:./hive_game_operationstatis5.sh:line 11: [: missing `]'./hive_ga原创 2014-10-14 19:05:57 · 2835 阅读 · 0 评论 -
hive udaf 用maven打包执行create temporary function 时报错
用maven打包写好的jar,在放到hive中作临时函数时报错。错误信息如下:hive> create temporary function maxvalue as "com.leaf.data.Maximum";java.lang.SecurityException: Invalid signature file digest for Manifest main attribu原创 2015-06-06 16:24:51 · 1837 阅读 · 0 评论 -
hive drop table报错:FAILED: SemanticException MetaException(message:Timeout when executing method: g
hive中drop 一个表时,报错:FAILED: SemanticException MetaException(message:Timeout when executing method: get_partitions_by_expr)元数据异常,网上有说将表中数据删除然后再drop表,删除部分hdfs上数据后重新drop表发现还是报此错。由于表中数据太多,删除hdfs原创 2016-01-15 18:59:12 · 6316 阅读 · 0 评论