Hadoop-Hive 自定义函数实现步骤

最新推荐文章于 2024-06-25 05:56:09 发布

原创最新推荐文章于 2024-06-25 05:56:09 发布 · 245 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive

笔记专栏收录该内容

27 篇文章

订阅专栏

本文介绍如何在Maven Java项目中配置依赖，包括Hadoop和Hive相关组件，实现自定义Hive UDF（用户定义函数）。文中详细展示了pom.xml文件的配置方法，包括引入必要的插件和过滤规则，以及如何编写和部署自定义函数。

创建maven java 工程，导入jar包

 <repositories>
     <repository>
         <id>cloudera</id>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
     </repository>
 </repositories>
 <dependencies>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-common</artifactId>
         <version>2.6.0-cdh5.14.0</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hive</groupId>
         <artifactId>hive-exec</artifactId>
         <version>1.1.0-cdh5.14.0</version>
     </dependency>
 </dependencies>
 <build>
 <plugins>
     <plugin>
         <groupId>org.apache.maven.plugins</groupId>
         <artifactId>maven-compiler-plugin</artifactId>
         <version>3.0</version>
         <configuration>
             <source>1.8</source>
             <target>1.8</target>
             <encoding>UTF-8</encoding>
         </configuration>
     </plugin>
      <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-shade-plugin</artifactId>
          <version>2.2</version>
          <executions>
              <execution>
                  <phase>package</phase>
                  <goals>
                      <goal>shade</goal>
                  </goals>
                  <configuration>
                      <filters>
                          <filter>
                              <artifact>*:*</artifact>
                              <excludes>
                                  <exclude>META-INF/*.SF</exclude>
                                  <exclude>META-INF/*.DSA</exclude>
                                  <exclude>META-INF/*/RSA</exclude>
                              </excludes>
                          </filter>
                      </filters>
                  </configuration>
              </execution>
          </executions>
      </plugin>
 </plugins>
 </build>

开发java类继承UDF，并重载evaluate 方法

 public class 类名 extends UDF {
 	    public 返回值 evaluate(参数) {
 	       
     }
 }

将我们的项目打包，并上传到hive的lib目录下

设置函数与我们的自定义函数关联

 创建临时函数
 create temporary function 函数名 as '类名';
  
 删除临时函数
 drop temporary function 函数名;
 
 
 创建永久函数
 create function  函数名 as '类名';
 删除永久函数
 drop   function 函数名;