spark jar包方式运行hive步骤

最新推荐文章于 2023-04-12 19:23:05 发布
最新推荐文章于 2023-04-12 19:23:05 发布
阅读量2.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011007180/article/details/52294608
本文介绍如何使用Maven打包并正确配置Spark应用以连接MySQL数据库，包括解决因不同配置方式导致的错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1,用maven install 打包
2，配置好下面的脚本，其中--driver-class-path要选择mysql的jar包所在的目录，另外有博客说可以在spark-env指定
export SPARK_CLASSPATH=$SPARK_HOME/lib/mysql-connector-java-5.0.8-bin.jar
-----注意配置了--driver-class-path 就不能再配spark-env不然，启动会报错：
Exception in thread "main" org.apache.spark.SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.

----但是用spark-env的方式配置，运行还是报错找不断mysql驱动：

Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

run-sql.sh内容：
#!/bin/sh
FWDIR="$SPARK_HOME"
$FWDIR/bin/spark-submit \
--class zfh.spark.study.hive.HiveDataSource \
--num-executors 3 \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 3 \
--files /home/zfh/apache/hive-2.0.0/conf/hive-site.xml \
--driver-class-path /home/zfh/apache/hive-2.0.0/lib/mysql-connector-java-5.0.8-bin.jar \
/home/zfh/runjar/spark-study-java-0.0.1.jar \
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
这是每个学习spark必备的jar包，是根据我的个人试验后所得，官网正版，在spark官网下载。 资源包里不仅有需要的jar包，并且给不会再官网上下载的新手官方网址，可以自由下载资源
hive3.x编译spark3.x包
06-07
7. **验证和测试**：编译完成后，将生成的二进制包部署到Hadoop集群上，并运行一些测试用例以验证Hive和Spark的集成是否正常工作。 8. **打包与分发**：将编译好的Hive和Spark二进制包打包并分发到集群的各个节点，...
[Spark/Hive] -- Spark执行jar包
鱼归不知处
12-11 475
./spark-submit \ --master yarn \ --deploy-mode client \ --num-executors 10 \ --executor-memory 2g \ --executor-cores 2 \ --driver-memory 1g \ --conf spark.default.parallelism=1000 \ --conf spark.suffle.memoryFaction=0.3 \ --hiveconf hive.cli.print.header=.
Spark访问HIVE
weixin_45495389的博客
09-11 341
Spark访问HIVE 知识点1：Spark访问HIVE上面的数据 配置注意点：. 1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你sparkhome/lib中（spark2.0之后是{spark_home}/lib中（spark2.0之后是sparkh​ome/lib中（spark2.0之后是{spark_home}/jars下），不清楚就全部拷贝过去 2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf目录下 3.
Spark on Hive——Spark远程连接Hive，对Hive中的表进行操作
雷神乐乐的博客
04-06 4672
Spark on Hive&Spark on Mysql
Spark 连接 Hive
qq_57151931的博客
04-10 1007
Spark 连接Hive
DataGrip连接Hive所需jar包
03-18
1. **下载JAR包**：首先，你需要从Apache Hive的官方网站或者相关的开源镜像站点下载Hive JDBC驱动程序的JAR包，这通常被称为`hive-jdbc-*.jar`。`HiveDriver`很可能就是这个JAR包的一部分，包含了Hive的Java驱动。 ...
Spark不能使用hive自定义函数.doc
03-06
2. **类路径问题**：Spark 在启动时可能没有正确地加载到 Hive 的自定义函数所在的 jar 包。 3. **依赖管理**：Hive UDF 所需的库或者依赖可能未被正确安装或配置。 #### 三、解决方案 为了解决 Spark 无法使用 ...
Atlas Spark SQL血缘分析，Hive Hook
05-25
通过这种方式，当Spark SQL通过Hive接口查询或修改数据时，Hive Hook可以记录下这些操作，形成血缘关系。 在Apache Atlas与Spark SQL的集成过程中，有以下关键步骤： 1. **配置Apache Atlas**：需要设置Atlas...
spark_jar包
07-11
Spark_JAR包是Apache Spark项目的核心组件之一，它包含了运行Spark应用程序所必需的类库和依赖。Spark作为一个快速、通用且可扩展的数据处理框架，它为大数据处理提供了丰富的API，支持Scala、Java、Python和R等多种...
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本
07-27
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本 可以直接使用
spark打包jar连接hive数据源完整过程
热门推荐
java技术分享
02-11 1万+
java打包spark jar包访问hive数据源
SparkSQL（14）：jdbc访问hive表
小蚯蚓的博客
10-01 3017
一、目的： 使用jdbc访问hive表 二、操作： 1.前提 开启thriftserver sbin/start-thriftserver.sh \ --master local[2] \ --jars /opt/datas/mysql-connector-java-5.1.27-bin.jar \ --hiveconf hive.server2.thrift.port=14000...
spark 操作hive数据库，使用spark-sql执行hivesql语句
qq_37969476的博客
12-18 951
spark 操作hive数据库 1、配置 hive-site.xml 新增 vim hive-site.xml <property> <name>hive.metastore.uris</name> <value>thrift://hadoop01:9083</value> </property> 2、拷贝 到...
spark集群运行jar包读取csv文件到hive表中的小坑
JIE的博客 --- moon_coder
12-16 1087
报错，类型没转换 放集群上运行要使用cast进行转换
启动hive报错----缺少spark-assembly-*.jar
qq_824203453_的博客
06-15 7507
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80710169 交流QQ: 824203453   操作版本： hive版本  1.2.1   spark版本 2.2.0 启动hive时，报如下错误提示：   问题剖析：   启动hive，提示找不到 spar...
spark spark-submit执行的结果映射到hive表中
a627082796的博客
02-21 1069
1. spark执行的输出结果如何保存 通常把hive表对应的路径当做spark执行的输出目录：/user/hive/warehouse/${hive_db_name}.db/$hive_tb_name 一般日志的映射hive表要建成带分区的格式/user/hive/warehouse/${hive_db_name}.db/$hive_tb_name/dt=${dt}/hour=${dt} ...
Spark整合hive（保姆级教程）
wanjialin的博客
12-10 2509
准备工作： 1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive 2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版） 3、需要安装配置好Hadoop，如果不会安装可以跳转到Linux安装配置Hadoop2.6 操作步骤： 1、将hive的conf目录下的hive-site.xml拷贝到spark的conf目录下（也可以建立软连接）cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/spark24
记录hive on spark缺少包ClassNotFoundException: org.antlr.runtime.tree.CommonTree的异常解决
appleYQL的博客
04-12 1006
ClassNotFoundException: org.antlr.runtime.tree.CommonTree
使用hive运行这个jar包
最新发布
07-17
<think>好的，用户现在的问题是“使用hive运行这个jar包”。我需要先理解他们的需求。之前他们已经集成过Hive到集群中，并且现在想知道如何用Hive来运行之前提到的JAR包。 首先，用户可能已经有一个自己编写的JAR包，之前是通过Spark或YARN提交的。现在他们想通过Hive来执行这个JAR包。这时候需要考虑Hive中如何使用自定义的Java代码，通常有两种方式：一种是创建用户自定义函数（UDF），另一种是执行MapReduce脚本。 接下来，我需要确认用户的具体使用场景。如果JAR包中的类是一个UDF，那么应该指导他们如何在Hive中添加JAR并创建函数。如果JAR包是MapReduce作业，可能需要使用Hive的TRANSFORM功能或者通过添加JAR到Hive会话中执行。 用户可能对Hive的UDF机制不熟悉，需要详细说明步骤，包括如何将JAR包上传到Hive服务器，使用ADD JAR命令，然后创建临时或永久函数。同时，还要注意权限问题和路径是否正确。 另外，用户可能希望直接在HiveQL中调用这个JAR包中的类，比如作为MapReduce任务的一部分。这时候可能需要使用Hive的EXECUTE命令或者脚本操作，比如使用Hive的MAP和REDUCE语句，但这可能比较复杂，需要具体例子。 还需要考虑常见问题，比如类路径错误、依赖缺失、权限问题等，这些都需要在回答中提到解决方法。例如，确保所有节点都能访问JAR包，或者将JAR包放在HDFS上以便分发。 最后，用户可能希望知道如何验证是否成功运行，比如查询结果或检查日志。因此，在步骤中应包括测试用例和日志查看的方法。 总结下来，回答需要分步骤说明如何在Hive中使用JAR包，无论是作为UDF还是作为MapReduce任务，包括上传JAR、添加到Hive会话、创建函数或执行脚本，以及处理可能遇到的问题。</think>在Hive中运行本地JAR包的核心场景是 **执行自定义UDF（用户自定义函数）** 或 **通过HiveQL调用MapReduce脚本**。以下是具体实现步骤： --- ### 1. 将JAR包上传到Hive服务器 ```bash # 本地执行：将JAR包拷贝到Hive容器内 docker cp your-application.jar hive-server:/opt/hive/udf/ # 可选：上传到HDFS供集群共享 docker exec -it hive-server hdfs dfs -put /opt/hive/udf/your-application.jar /user/hive/udf/ ``` --- ### 2. 在Hive中注册并使用UDF #### 2.1 添加JAR包（会话级有效） ```sql -- 连接到HiveServer2后执行 ADD JAR hdfs://hadoop-master:9000/user/hive/udf/your-application.jar; -- 或本地路径（需所有节点存在相同路径） -- ADD JAR file:///opt/hive/udf/your-application.jar; -- 创建临时函数 CREATE TEMPORARY FUNCTION my_udf AS 'com.example.MyUDF'; -- 使用UDF查询数据 SELECT my_udf(name) FROM employees WHERE salary > 80000; ``` #### 2.2 创建永久函数（推荐） ```sql -- 需提前在HDFS创建路径 CREATE FUNCTION com.example.MyUDF AS 'com.example.MyUDF' USING JAR 'hdfs://hadoop-master:9000/user/hive/udf/your-application.jar'; -- 删除永久函数 DROP FUNCTION com.example.MyUDF; ``` --- ### 3. 通过HiveQL调用MapReduce脚本 #### 3.1 直接执行JAR包（适用于MapReduce作业） ```sql -- 使用Hive的EXECUTE命令（需JAR包为可执行MapReduce作业） EXECUTE jar /opt/hive/udf/your-application.jar com.example.MainClass input output; ``` #### 3.2 使用TRANSFORM语法调用脚本 ```sql -- 示例：调用JAR包中的类处理数据（需实现标准输入输出） SELECT TRANSFORM (name, salary) USING 'java -cp /opt/hive/udf/your-application.jar com.example.Processor' AS (processed_name STRING, processed_salary FLOAT) FROM employees; ``` --- ### 4. 关键配置与验证 #### 4.1 检查UDF注册状态 ```sql -- 查看所有函数 SHOW FUNCTIONS; -- 查看函数来源 DESCRIBE FUNCTION EXTENDED my_udf; ``` #### 4.2 日志与调试 - **HiveServer2日志**： ```bash docker exec -it hive-server tail -n 100 /opt/hive/logs/hiveserver2.log ``` - **YARN任务日志**（适用于MapReduce作业）： ```bash docker exec -it hadoop-master yarn logs -applicationId application_123456789_0001 ``` --- ### 5. 常见问题排查 #### 5.1 ClassNotFoundException - 确保JAR包路径正确且可访问： ```sql -- 检查HDFS路径是否存在 dfs -ls hdfs://hadoop-master:9000/user/hive/udf/your-application.jar; ``` - 检查类名是否完整（含包名）： ```sql CREATE TEMPORARY FUNCTION my_udf AS 'com.example.MyUDF'; ``` #### 5.2 权限不足 - 授予Hive用户读取权限： ```bash docker exec -it hadoop-master hdfs dfs -chmod 777 /user/hive/udf ``` #### 5.3 UDF返回类型不匹配 - 确保UDF的 `evaluate()` 方法返回类型与Hive表字段兼容： ```java public class MyUDF extends UDF { public Text evaluate(Text input) { ... } // Hive STRING 类型 } ``` --- ### 6. 高级用法 #### 6.1 使用Maven依赖管理UDF - 打包时包含依赖（推荐使用 `maven-shade-plugin`）： ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <executions> <execution> <phase>package</phase> <goals><goal>shade</goal></goals> <configuration> <transformers> <transformer implementation="..."> <mainClass>com.example.MyUDF</mainClass> </transformer> </transformers> </configuration> </execution> </executions> </plugin> ``` #### 6.2 动态加载远程JAR - 通过Hive配置文件支持HTTP路径（需自定义URL处理）： ```sql ADD JAR http://artifact-repo.example.com/udfs/your-application.jar; ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值