Hive中UDF函数包含HttpClient依赖冲突

最新推荐文章于 2021-12-15 15:13:37 发布
最新推荐文章于 2021-12-15 15:13:37 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive2.3+ 从入门到实战 文章标签： Hive HttpClient Hive中UDF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/silentwolfyh/article/details/89218818
博客详细介绍了在Hive中使用UDF时遇到的HttpClient依赖冲突问题。作者通过定位代码、检查CDH5.14.4中httpclient的版本、替换pom依赖以及解决jar包冲突，逐步解析了解决这一问题的步骤。内容涵盖httpclient的4.2.5和4.5.3版本的Get、Post方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、错误信息

二、问题分析及解决

第一：定位代码如下
第二：查看CDH5.14.4中httpclient的版本
第三：替换pom中的依赖包
第四：有jar包冲突了需要排除，如下所示

三、httpclient-4.2.5版本Get，Post方法

四、httpclient-4.5.3版本Get，Post方法

一、错误信息：

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String aks.AksDecryptUDF.evaluate(java.lang.String)  on object aks.AksDecryptUDF@4eb30d44 of class aks.AksDecryptUDF with arguments {CCnQwueHtw7LQmTYPWBkrg==:java.lang.String} of size 1
	at org.apache.hadoop.hive.ql.exec.FunctionRegistry
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark SQL 和 Hive UDF ExceptionInInitializerError getRemoteBlockReaderFromTcp BlockReaderFactory
九师兄
07-04 1058
19/08/08 15:27:56 INFO demo.StructuredUdfDemo: 监听主机：10.26.251.93,端口：9987，日志：ON ,SQL:select id, positions.add_suffix(name,"-class") from person 19/08/08 15:28:09 INFO metadata.Hive: Registering func...
使用Hive UDF时jar包冲突问题及解决方案
SmallCarrot的博客
04-08 2853
问题背景 使用Hive开发UDF，UDF中使用到了com.fasterxml.jackson包中的jackson-databind，版本为2.10.2，pom引用方式如下： <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version&g
Hive - 自定义UDF - HttpClient依赖冲突
行走的树
06-16 1112
1、报错信息： # FAILED: SemanticException [Error 10014]: Line 2:22 Wrong arguments '"蔡徐坤asda EXO"': org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public static java.lang.String GetStarKeyWord.evaluate(java.lang.String) on
hive自定义udf函数hive-exec下载依赖不全
张不帅
01-14 1526
修改pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
hive某个字段中包括\n（和换行符冲突）
热门推荐
lhxsir的博客
11-23 2万+
用spark执行SQL保存到Hive中： hiveContext.sql(&quot;insert overwrite table test select * from aaa&quot;) 执行完成，没报错，但是核对结果的时候，发现有几笔数据超出指定范围（实际只包含100/200） 最终排查到是ret_pay_remark 字段包含换行符,解决方案：执行SQL中把特殊字符替换掉 regexp_replace(...
flink集成hive中遇到的问题以及解决方案
leoma2012的博客
12-06 4124
版本： 1）hadoop：2.7.2 2）hive：2.3.4 3）flink：1.11.2 4）os：centos 7.5 1. 首先集成hadoop 1.1 添加如下依赖，因为会有jar包冲突的问题，注意jar包的 ，以及jar包的 ，否则会报类似 hadoop.config找不到的错误 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-hive --&
【Hive六】Hive用户自定义函数(UDF)
bit1129的博客
03-10 691
1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么语言...
一个查询ip归属地的hive udf
云想慕尘的专栏
07-01 1236
背景 工作中会用到查询ip归属地的场景，购买了ip库数据，因官方不提供数据遍历方案，所以无法全量导入到hive中，只能使用udf进行查询。 数据源来自https://www.ipip.net/，数据格式为.ipdb，如：ipv4_china_cn.ipdb。 udf编码 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
【性能提升】Hive UDF编写与优化：自定义函数的黄金规则
![【性能提升】Hive UDF...通过UDF，用户可以创建自己的函数来扩展Hive的内置函数，处理复杂的数据转换和自定义逻辑。UDF的使用为数据分析师和工程师提供了一个灵活的方式来处理大数据分析，特别是在数据清洗、数据格式
spark SQL （五）数据源 Data Source----json hive jdbc等数据的的读取与加载
weixin_30872733的博客
12-30 224
1，JSON数据集 Spark SQL可以自动推断JSON数据集的模式，并将其作为一个Dataset[Row]。这个转换可以SparkSession.read.json()在一个Dataset[String]或者一个JSON文件上完成。 请注意，作为json文件提供的文件不是典型的JSON文件。每行必须包含一个单独的，独立的有效JSON对象。有关更多信息，请参阅...
Java 调用Hive 自定义UDF
Allen 的技术专栏
04-20 4289
Hive 具有一个可选的组件叫做HiveServer,它允许通过在一定的端口访问Hive. 将自定义的UDF的jar拷贝到安装的hive服务器中（如 /home/hadoop下） 具体的不啰嗦了，看代码吧！、 package com.hive.client; import java.sql.Connection; import java.sql.DriverManager; import
使用apache的HttpClient上传文件到Hive数据仓库
我只是代码搬运工的博客
12-15 1737
上个月，项目中需要实现上传文件到Hvie数据仓库，一开始使用shell语句上传，在本地是OK的。但是部署到客户环境就报错，所以改用HttpClient组件上传。 主要是用来记录一下，不做过多文字解释。 里面注释也有不少，应该够用了。 public Map<String,String> httpPost(String fileName, String path) throws HttpException, IOException { Map...
hive UDF 提取文本中的国家名
a_step_further的博客
02-24 1976
要提取文本中的国家名，我的思路是： 1. 先分词，提取出地区名 2. 将国家名通过外部文件的形式读入HASHSET 3. 对第1步中提取的地区名到2中的HASESET进行查询，如果有，则返回 当UDF需要读取外部文件时，一种方法是在注册函数时用add file 先将文件上传，但这条路我尝试之后没有走通； 第二种方法就是把外部文件先上传到HDFS的一个路径上，再在UDF逻辑中直接读取HDFS上的文件，该方法尝试通过了。
Hive的基本使用2
qq_30122883的博客
03-12 617
查询 [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE ...
Hive的UDF开发踩过的那些坑儿
阿尼古
03-26 4635
hive创建的udf函数，我™好气，日志信息报错都不正常，坑了宝宝大半天排查问题 日志截图如下: 开始执行sql：set role admin 开始执行sql：reload function 开始执行sql：select test_encode_001("datatype_01","ceshi") 任务-T_6013577427031285_20190813164922075_1_1 运行失...
Hive任务运行常见报错及解决方式汇总
吴明磊的博客
02-22 8817
有的时候hive任务运行到一半，会报错并强制结束，下面对工作中经常遇到的报错及解决措施进行一个汇总，因为都是平时遇到了临时简单记录一下，所以没有当时的报错截图，但是主要报错内容是有的。 以下报错内容均为从yarn任务监控页面(http://主机名:8088/cluster)中查到的运行日志中打印的具体报错，直接查看命令行或者其他运行日志，可能只能看到return code 1 或者ret...
hive udf踩坑
weixin_36451151的博客
05-07 2690
hive支持用户自定义函数，User-Define-Function,简称udf； 可以使用udf对数据进行特殊处理，用法很简单，继承UDF类，并且写一个或多个名为evaluate的方法，参数种类随意，个数随意，当你传入不同类型的参数时，会自动查找对应的evaluate方法。 使用的时候报了以下错误 Unable to execute method public XXX evaluate(java...
hive语句遇到的反斜杠问题
无知是恶
10-29 3150
需求：regexp_replace(字段wfss,’\\’,’&’) 匹配wfss里数据包含反斜杠’\’，然后再给它替换成’&’, 一开始我只给了两个反斜杠，运行会报错， 搜了一圈，需要四个才行：regexp_replace(字段wfss,’\\\\’,’&’) 后来配调度脚本的时候，加了hive -e"…" 结果报了如下错误： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execut
hive：Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processin
qq_43688472的博客
10-18 3725
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hadoop.hive.ql.exec.MapOperator.process(
hive中udf函数
最新发布
03-15
### Hive中自定义UDF函数的创建与使用 #### 创建临时UDF函数 在Hive中可以通过`CREATE TEMPORARY FUNCTION`语句来注册并使用自定义的UDF（User Defined Function）。此命令允许用户将Java类作为自定义函数引入到查询中。例如： ```sql CREATE TEMPORARY FUNCTION myudf AS 'com.master.HiveUDF.MyUDF'; ``` 上述SQL语句表示将名为`myudf`的临时函数映射至指定的Java类路径`com.master.HiveUDF.MyUDF`[^1]。 对于另一个例子，也可以这样声明： ```sql CREATE TEMPORARY FUNCTION getlen AS 'MyNewUDFDemo'; ``` 这里展示了另一种方式，其中`getlen`被绑定到了`MyNewUDFDemo`这个类上[^2]。 #### 使用已创建的UDF函数 一旦成功注册了一个新的UDF之后，在任何SELECT查询里都可以调用它。比如下面的例子演示了如何利用之前定义好的`myudf`处理`t_user`表中的`name`字段的数据： ```sql SELECT myudf(name) FROM t_user; ``` 这条指令会把每一行记录里的`name`列传递给`myudf()`方法执行相应的转换操作后再输出结果集。 另外需要注意的是如果我们的业务场景涉及到更复杂的结构化或者半结构化的数据类型如JSON字符串时，则可能还需要借助专门设计用来解析这类特殊格式输入值的高级版UDFs实例——即GetJsonObject以及GetJsonArray这两个工具类所提供的功能[^5]。 #### 关于适用范围的选择考量因素 当面对一些只需要简单变换即可完成的任务需求时候选用普通的标准内置算子往往已经足够满足日常开发工作所需；然而针对某些特定领域内的独特计算规则则不得不依赖外部扩展机制来自由定制专属解决方案此时便体现出编写个性化插件的重要性所在。而UDF正好提供了这样一个灵活便捷的技术手段让开发者能够快速实现预期目标同时保持良好的可维护性和复用价值不过其局限之处在于难以应对过于繁琐耗时的操作流程因为这可能会显著影响整体性能表现因此建议仅限于那些相对轻量级易于表达清楚逻辑关系的小型算法单元上去应用该特性[^4]。 ```java // 示例 Java 类 MyUDF.java import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public class MyUDF extends UDF { public Text evaluate(Text input){ if(input == null){ return null; } String result = "Processed_" + input.toString(); return new Text(result); } } ``` 以上是一个非常基础版本的UDF实现样例代码片段展示怎样继承自org.apache.hadoop.hive.ql.exec包下的抽象基类并通过覆写evaluate()成员函数达成具体业务目的最终形成可供后续环节直接引用的标准组件形式供实际项目工程采纳实施部署运行测试验证优化迭代等一系列完整生命周期管理活动开展下去直至达到理想效果为止[^3]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辉哥大数据

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值