HiveServer2 的jdbc方式创建udf的修改（add jar 最好不要使用），否则会造成异常： java.sql.SQLException: Error while processing s...

最新推荐文章于 2021-07-29 17:56:28 发布
转载 最新推荐文章于 2021-07-29 17:56:28 发布 · 467 阅读 · 0
文章标签：

#java #大数据

本文介绍从Hive 0.13.0版本开始，通过HiveServer2的jdbc方式创建UDF临时函数的方法变化。原先的命令被新的命令所替代，文章还包含了因错误使用旧命令而导致的异常堆栈跟踪信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

自从Hive0.13.0开始，使用HiveServer2 的jdbc方式创建udf的临时函数的方法由：

 ADD JAR ${HiveUDFJarPath}

    create TEMPORARY function md5  as 'com.hugedata.hive.udf.codec.UDFMd5';

改为：

　　    create TEMPORARY function md5  as 'com.hugedata.hive.udf.codec.UDFMd5' USING JAR ${HiveUDFJarPath};

万恶的这个修改，让我忙活了大半天。

 

 

异常堆栈跟踪信息：

Exception in thread "main" java.sql.SQLException: Error while processing statement: null
at org.apache.hive.jdbc.Utils.verifySuccess(Utils.java:120)
at org.apache.hive.jdbc.Utils.verifySuccessWithInfo(Utils.java:108)
at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:233)

 

java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from
hello_java_lcl的博客
04-18 6085
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 2 这个错误，在网上查了很多，都不能解决。.
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from...
weixin_30532369的博客
12-23 7277
执行Hive查询： Console是这样报错的 java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.jdbc.H...
HIVE自定义UDF时,不写add jar 和 create temporary function
Char_CN的专栏
06-30 1418
两种方法
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado
Jamie's Blogs
10-18 2万+
@[TOC](Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask (state=08S01,code=1)) Hive测试环境下报错 Error: Error while processing s...
2020.9.27(Hive Serde、HiveServer2、Hive函数)
超可爱慕之
09-26 1152
回顾：上节课讲了hive的基本语句，DDL，DML 和MySQL差不多，但是也有一些自己独特的东西，比如在定义一张表的时候需要指定行格式。 这节课开始，hive的点就比较琐碎了。 Hive Serde Hive SerDe - Serializer and Deserializer –SerDe 用于做序列化和反序列化。 什么意思？ hive在运行过程中，数据是存储在hdfs的，但是执行引擎是mapreduce，这两个之间有必然的关系么？ 写的都是SQL语句，可以通过load的方式加载数据，也可以直接向h
Hive自定义UDF函数如何在项目中使用
mj2004865_w的博客
09-12 481
对于UDF自定义函数编写规则、打成jar包、上传服务器、add jar...、create temporary function ...等这些步骤这里不作介绍，网上一大堆资料。 这里说说我项目中遇到的问题。项目中我需要将mysql、sqlserver的SQL语句转换为hive能识别的hql。很简单，在项目中写一些替换代码，将SQL中的内置函数replace成hive的相关内置函数就行，例如将is...
Java api 调用Sqoop2进行MySQL-->Hive的数据同步
qq_30629571的博客
09-15 6944
1.相关jar包 2.一些需要的参数定义在message.properties中 jdbcHiveUrl=jdbc:hive2://10.1.9.91:10000 //hive地址 jdbcHiveDriver=org.apache.hive.jdbc.HiveDriver // hive驱动 jdbc_mysql_driver=com.mysql.jdbc.
spark：sparkstreaming 0.10版本 案例1：从 kafka 采集数据，并存储到 Hbase Demo示例 / 案例2：实时更新mysql
不花的花和尚的博客
06-19 1090
pom： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/
Apache Kyuubi调研
美丽的毛毛草
07-29 6574
Apache Kyuubi调研1. QuickStart1.1 下载安装启动1.2 打开连接1.3 执行语句1.4 停止服务1.5 用DBeaver进行连接1.6 用java的jdbc进行连接2. Kyuubi 高可用调研2.1 非HA模式下，使用内嵌Zookeeper2.2 Kyuubi高可用2.2.1 负载均衡2.2.2 配置2.2.3 AQS1）SparkContext初始化失败**2）Zookeeper服务发现模式登陆报错**3. 概述3.1 架构3.1.1 架构概述3.1.2 统一接口3.1.3
java jdbc连接hive所需要所有jar包,请测有效。
07-18
jdbc连接hive代码所需要jar包，测试有效
Java 调用Hive 自定义UDF
Allen 的技术专栏
04-20 4291
Hive 具有一个可选的组件叫做HiveServer,它允许通过在一定的端口访问Hive. 将自定义的UDF的jar拷贝到安装的hive服务器中（如 /home/hadoop下） 具体的不啰嗦了，看代码吧！、 package com.hive.client; import java.sql.Connection; import java.sql.DriverManager; import
hive jdbc方式 add udf jar
积跬步，至千里；
02-20 3874
最近用hql 分析 用hive jdbc方式 add udf jar 在同一个hive服务上只能add一个jar 不然会造成冲突。
hive 创建表时候报错，Error: Error while processing statement: FAILED: Execution Error, return code 1 from or
yidianyidei的博客
08-19 7800
文章目录hive 创建表时候报错解决方法然后推出 重启hive 就成功了 hive 创建表时候报错 Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don’t support retri
hive下UDF函数的使用
weixin_34357267的博客
08-12 805
1、编写函数   [java] view plaincopyprint? package com.example.hive.udf;      import org.apache.hadoop.hive.ql.exec.UDF;   import org.apache.hadoop.io.Text;      public final class LowerCa...
报错信息：Error: Error while compiling statement
热门推荐
爱编程
08-11 4万+
建表语句： create external table table_sample(v1 string,v2 string,v3 string) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='gzip') location '/user/spark/cmd/table_sample'; 报错信息： Error: Erro...
hive不能count,inner
蘑菇丁的专栏
08-03 2252
最近折腾hive和impala集成sentry后,tableas连接impala 后join一直报错如下： 与 Cloudera Hadoop 数据源“x___sql___ (product)”通信时出错。 连接错误: Tableau 无法连接到数据源。 [Cloudera][Hardy] (35) Error from server: error code: '2' error message...
### Cause: java.sql.SQLException: errCode = 2, detailMessage = Can not found function 'generate_series'我在doris里调用
最新发布
03-03
<think>好的，我现在需要帮助用户解决在Doris中调用generate_series函数时出现的错误。用户提到错误信息是“Can not found function 'generate_series'”，这说明Doris无法识别这个函数。首先，我得回忆一下Doris的内置函数支持情况。 首先，generate_series在PostgreSQL中常用于生成一系列数值，但Doris是否有这个函数呢？根据之前的了解，Doris可能没有直接对应的函数，或者需要特定版本支持。用户可能误以为Doris支持所有PostgreSQL的函数，所以需要确认这一点。 接下来，我需要考虑用户的使用场景。用户可能在尝试生成序列数据，比如日期范围或数字序列，用于测试或数据填充。这时候如果没有generate_series，可能需要替代方法。 然后，可能的解决方案有几个方向：检查Doris版本是否支持，使用替代函数，或者自定义UDF。首先，检查版本。如果用户使用的是较旧版本，可能没有这个函数，建议升级到最新版本。例如，Doris 1.2之后的版本可能支持更多函数。 如果升级不可行，需要提供替代方法。比如，使用数字辅助表或者递归CTE（但Doris可能不支持递归CTE）。或者，使用其他函数如numbers或explode来模拟。另外，可能需要手动生成序列，比如通过连接多个表或使用子查询生成行号。 另外，用户可能需要创建自定义函数（UDF），但这需要一定的开发步骤，用户可能需要指导如何编写和部署UDF到Doris中。 最后，应该建议用户查阅官方文档或社区资源，确认函数支持情况，或者提交issue请求添加该函数。同时，给出具体的示例代码，帮助用户理解替代方法如何实现。 需要确保回答结构清晰，分点说明原因和解决方案，并提供示例代码，这样用户能逐步排查和解决问题。还要注意使用中文，避免技术术语过于复杂，让用户容易理解。</think>在Apache Doris中出现`Can not found function 'generate_series'`错误，表示当前使用的Doris版本或环境不支持该函数。以下是完整分析和解决方案： --- ### **错误原因** `generate_series`是PostgreSQL等数据库中的**序列生成函数**，但**Doris原生并不支持此函数**。尝试直接调用时会触发`Function not found`异常。常见场景： 1. **误移植PostgreSQL语法**：直接将PG的语法迁移到Doris中执行 2. **期望生成连续序列**：例如生成日期序列、数字序列用于测试或计算 3. **UDF未正确部署**：若用户曾尝试自定义该函数但未成功注册 --- ### **解决方案** #### 方案1：使用Doris内置函数替代 Doris通过以下函数组合实现类似功能： ```sql -- 生成数字序列（示例：1到5） SELECT row_number() over () AS series FROM (SELECT 1) t1 -- 通过多次JOIN生成足够多的行 JOIN (SELECT 1) t2 -- 每增加一个JOIN，行数翻倍（2^N） JOIN (SELECT 1) t3 LIMIT 5; -- 生成日期序列（示例：2023-01-01到2023-01-05） SELECT date_add('2023-01-01', interval (row_number() over () -1) day) AS date_series FROM (SELECT 1) t1 JOIN (SELECT 1) t2 JOIN (SELECT 1) t3 LIMIT 5; ``` #### 方案2：创建辅助表（永久性解决方案） ```sql -- Step1: 创建数字辅助表 CREATE TABLE numbers (n INT) ENGINE=OLAP DUPLICATE KEY(n) DISTRIBUTED BY HASH(n) BUCKETS 10 PROPERTIES ("replication_num" = "1"); -- Step2: 插入数据（示例插入0-9999） INSERT INTO numbers SELECT row_number() over () -1 FROM (SELECT 1) t1 JOIN (SELECT 1) t2 JOIN (SELECT 1) t3 JOIN (SELECT 1) t4 LIMIT 10000; -- Step3: 查询使用 SELECT n FROM numbers WHERE n BETWEEN 10 AND 20; -- 生成10-20的序列 ``` #### 方案3：自定义UDF函数（需JAVA开发能力） 1. 编写UDF类： ```java import org.apache.doris.udf.UdfFunction; import java.util.ArrayList; import java.util.List; public class GenerateSeries extends UdfFunction { public List<Long> evaluate(Long start, Long end) { List<Long> result = new ArrayList<>(); for (long i = start; i <= end; i++) { result.add(i); } return result; } } ``` 2. 编译打包后通过`CREATE FUNCTION`注册： ```sql CREATE FUNCTION generate_series(BIGINT, BIGINT) RETURNS ARRAY<BIGINT> PROPERTIES ( "file"="file:///path/to/udf.jar", "symbol"="GenerateSeries" ); ``` 3. 调用示例： ```sql SELECT explode(generate_series(1,5)); -- 输出1-5的序列 ``` --- ### **版本适配建议** | Doris版本 | 支持情况 | |-----------|----------| | <1.2.0 | 完全不支持，需用替代方案 | | ≥1.2.0 | 可通过`numbers`表或UDF实现 | | ≥2.0.0 | 内置`sequence`函数（实验性功能） | ```sql -- Doris 2.0+ 实验性功能示例 SELECT sequence(1,5); -- 返回数组[1,2,3,4,5] SELECT explode(sequence(1,5)); -- 展开为多行 ``` --- ### **排查路径** 1. 检查Doris版本：`SELECT version();` 2. 列出所有函数确认是否存在： ```sql SHOW FUNCTIONS LIKE '%series%'; ``` 3. 若使用UDF，检查函数状态： ```sql SHOW CREATE FUNCTION generate_series; ``` 建议优先使用内置函数组合或创建辅助表，复杂场景可考虑升级到Doris 2.x使用`sequence`函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值