HIVE扩展GIS函数

最新推荐文章于 2024-08-31 07:17:37 发布

aicuo0508

最新推荐文章于 2024-08-31 07:17:37 发布

阅读量174

点赞数

文章标签： java shell 大数据

原文链接：http://www.cnblogs.com/polong/p/9864967.html

版权

针对大数据集群中GIS数据量的增长需求，本文档介绍了如何在Hadoop架构上部署Apache Hive并扩展其功能，通过使用UDF（用户定义函数）对数据进行处理。特别地，文档详细说明了如何配置和使用spatial-framework-for-hadoop来增强Hive的空间数据处理能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。

Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼，查询和分析。([引用自维基百科hive描述)

HIVE允许用户使用UDF（user defined function）对数据进行处理。我们用到的是spatial-framework-for-hadoop。下载完源码，修改最外层的pom.xml,修改hadoop、hive、java版本为生产环境中版本,重新编译项出spatial-sdk-json-2.1.0.jar和spatial-sdk-hive-2.1.0.jar。

<profile>
      <id>hadoop-2.7</id>
      <properties>
        <hadoop.version>2.7.3</hadoop.version>
      </properties>
</profile>

 <profile>
      <id>hive-1.2</id>
      <properties>
        <hive.version>1.2.1</hive.version>
      </properties>
 </profile>

<java.source.version>1.8</java.source.version>
<java.target.version>1.8</java.target.version>
<hadoop.version>2.7.3</hadoop.version>
<hive.version>1.2.1</hive.version>

下载最新的esri-geometry-java中的esri-geometry-api-2.2.1.jar，上传三个jar到linux系统(jar权限设置成最高),在hive的shell控制台输入添加jar和创建函数语句。

add jar  /usr/hdp/2.6.4.0-91/hive/auxlib/esri-geometry-api-2.2.1.jar;
add jar  /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-json-2.1.0.jar;
add jar  /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-hive-2.1.0.jar;
CREATE TEMPORARY FUNCTION STPoint as 'com.esri.hadoop.hive.ST_Point';

测试通过
自定义函数使用可以参考官方文档UDF文档,创建自定义函数可以参考spatial-framework-for-hadoop项目的hive下function-ddl.sql，但创建永久函数需要去掉temporary。