
hive
修炼到救赎
这个作者很懒,什么都没留下…
展开
-
hive大数据倾斜总结
来源:http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得...转载 2019-05-03 16:27:18 · 170 阅读 · 0 评论 -
hive启动报错:Found class jline.Terminal, but interface was expected
[ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jline.TerminalFactory.crea...转载 2019-06-05 23:01:33 · 194 阅读 · 0 评论 -
ParseException line 20:7 Failed to recognize predicate 'timestamp'. Failed rule: 'identifier' in tab
今天在执行 hive ql 时,突然出现了这个错误,之前没遇到过。就自己在网上找原因,看了几篇回复都是不搭边的,都不想继续了,不过也给自己了个思路,有一篇英文贴是有效的。 就尝试了修改操作,SET hive.support.sql11.reserved.keywords=false; 这个设置就是表明:建表的字段名,最好不要使用保留字。如果已经使用了,执行sq...转载 2019-06-05 23:16:21 · 421 阅读 · 0 评论