#hive#HIVE中使用python实现UDF

最新推荐文章于 2024-03-18 14:14:07 发布

duqi

最新推荐文章于 2024-03-18 14:14:07 发布

阅读量1.6w

点赞数

分类专栏： Hadoop&hive

12 篇文章

订阅专栏

本文详细介绍了如何在Hive中利用Python实现用户定义函数(UDF)，并通过实例展示了如何提高数据处理的开发效率。利用Python脚本，用户可以更灵活地处理数据，实现复杂的功能，而无需编写大量MapReduce代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HIVE，FACEBOOK的一个开源项目，利用类SQL的语句（HiveQL）来加快一般的MapReduce的开发过程。

UDF，user defined function, 因为HIVE毕竟不是一般的关系型数据库，支持的HQL有限，如果要实现复杂的功能，就要通过自己定义函数来帮助实现。

HIVE应该利用PIPE的原理，将自己查询的结果放到python脚本的stdin中。所以他的查询结果不会显示在terminal中，terminal中显示的结果是python的执行结果。

使用HIVE的命令进入数据仓库(search)

 
   use search;

使用HIVE的命令查看已经建立的表

 
   show tables;

使用HIVE的命令查看xxx表中的字段

 
   describe xxx;

使用HIVE命令用PYTHON实现UDF

 
   add file udf.py;
SELECT 
TRANSFORM(keyword)
USING 'python udf.py'
AS(keyword)
FROM xxx
WHERE dt='2013-09-25'
; 
 
 

要注意的是，这里的TRANSFORM的内容可以写*，但是AS()里就不能写*，会报错。

输入到python中的内容，是按照AS里的数量来决定的。

下面是python的脚本，内容很简单，就是把输入的东西原封不动输出来。

udf.py

 
   import sys
for line in sys.stdin:
  line = line.strip()
  print line

########################################################################

Hive可以使用Python脚本大大地提高数据处理的开发效率，使用MapReduce的方式将数据处理成想要的结果。

我们使用ADD FILE 为Hive增加一个脚本，或者Jar包。

有两种方式：

ADD FILE {env:HOME}/your_file/your_script.py

ADD FILE /home/your_name/your_file/your_script.py

在调用的时候，过去的版本可以使用：

FROM u_data
SELECT
TRANSFORM (userid, movieid, rating)
USING 'python /home/dacoolbaby/test_data_mapper3.py'
AS str
;

但是在Hive 0.10貌似不支持这样弄。

FROM u_data
SELECT
TRANSFORM (userid, movieid, rating)
USING 'python test_data_mapper3.py'
AS str
;

后面的是脚本的名称，而不是整个的路径名。

以后在Hive下面使用Hadoop Distributed Cache要注意这个问题。