
udf
clamaa
这个作者很懒,什么都没留下…
展开
-
Hive中的用户自定义函数UDF
Hive中的自定义函数允许用户扩展HiveQL,是一个非常强大的功能。Hive中具有多种类型的用户自定义函数。show functions命令可以列举出当前Hive会话中的所加载进来的函数,包括内置的以及用户加载的函数。 函数都有自身的使用文档,使用describe function命令就可以展示对应函数基本介绍。 标准函数UDF用户自定义函数指的是一行数据中的一列或是多列原创 2017-04-11 09:52:44 · 1537 阅读 · 0 评论 -
Hive语句执行优化-简化UDF执行过程
Hive会将执行的SQL语句翻译成对应MapReduce任务,当SQL语句比较简单时,性能还是可能处于可接受的范围。但是如果涉及到非常复杂的业务逻辑,特别是通过程序的方式(一些模版语言生成)生成大量判断语句时,出现的问题就会比较多。 精简Hive使用的SQL 当前项目中如果打包的数量过多,是当前性能的最大瓶颈,在做SQL优化时,至少会存在一个这样的SQL,当打包数量上百甚至到1千后原创 2017-04-11 09:57:11 · 1242 阅读 · 0 评论