hive 提交到 yarn 任务 方式 和 spark UI 不能收集日志问题

最新推荐文章于 2025-06-27 15:41:36 发布
最新推荐文章于 2025-06-27 15:41:36 发布
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 hive spark 文章标签： spark UI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40809627/article/details/88534363
本文探讨了通过本地客户端命令、Hive shell、Beeline JDBC及Hive-E提交HQL的不同方式，特别关注了在CDH5.13环境下使用Hive on Spark时，这些方法在Spark UI上的可见性差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.通过本地客户那端命令连接
hive -e ‘select count(*) from *** where ***’

或者 本地 敲命令 hive 然后 写 sql
方式

或者
bin/hive -e “HQL语句，多个语句用；隔开”; //-e表示直接写HQL
hive-1.1.0-cdh5.14.0]# bin/hive -f /export/servers/hive-study-data/hive-mingling

2 。通过jdbc l连接
bin/beeline
!connect jdbc:hive2://node03:10000

注意： 一般我们写代码中 会 用jdbc 或 hive -e 等两种方式去提交任务到yarn 执行。

环境为： cdh 5.13
hive 采用hive on spark（1.6）

在spark 的ui 界面去分析程序的执行，发现 通过 代码中 通过 hive -e提交的任务 spark UI 上没记录
而jdbc 方式提交的 spark UI 上有记录（yarn RM 上都有任务的记录）

hive -e 通过 RM 页面跳过去（调研）

特此记录。

为啥看不到kylin on spark的日志?
mtj66的博客，交流WX:SpringBreeze1104
05-29 692
为啥kylin on spark的日志看不到,明明在运行时是能看到的,但是停止后就看不到了呢? 在看下/user/spark/applicationHistory路径下根本没有kylin on spark 的app的日志. 先屡一下思路,自己运行的正常的spark app停止后是可以看到日志的,但是kylin on spark 却看不到,说明这个不是yarn JobHistory Serve...
在Linux将MapReduce程序提交给YARN执行
周星星
11-20 591
什么是YARN，有什么作用 YARN（分布式运算资源调度系统） 我们知道我们的分布式文件存储系统HDFS，是将文件进行切块（默认128M）、备份（3份）分布式的存储在集群的各个机器上的； 海量的数据需要运算 ，那如果我们写的java程序，只运行在一个机器上进行处理这些数据块的话，明显是不可取的，所以我们得让程序分布式 并行的在各个机器上（mapreduce）运算； 而这些程序运行具体使用哪一台的运算资源（CPU、内存、IO、网络等），使用多少，很显然，人为分配这些资源，是很难做到公平和合理的。
Hive SQL执行流程详解
最新发布
走过冬季
06-27 592
在 Apache Hive 中，一条 SQL 查询（HiveQL）的执行会经过多个步骤，涉及。
spark hive 本地调试 & 提交任务到yarn cluster
okkkay的博客
05-13 740
本文讲述spark部署在远程服务器的yarn环境下时，如何进行本地调试以及提交任务到yarn cluster首先，
Hive提交到yarn的任务一直在running问题排查-V2
热门推荐
u013332124的专栏
12-24 3万+
解决hive已经停止的任务一直在yarn上运行的问题
yarn临时目录 没有jar包_YARN的介绍和一些实践探索
weixin_39524247的博客
11-20 423
什么是YARN？Apache Hadoop YARN 是一种新的 Hadoop资源管理器。 它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。也就是说YARN在Hadoop集群中充当资源管理和任务调度的框架。Apache Hadoop YARN：Yet Another Resource Negotiator，另一种资...
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 821
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
Hive性能提升秘籍：从Hive on MR到Hive on Spark的深度实践
u010192213的博客
11-13 799
主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤可参阅之前内容。
把Hive操作的spark代码丢到yarn上面运行找不到数据库
zhangfengBX的博客
12-03 1786
SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/hadoop/nm-local-dir/usercache/root/filecache/19/spark-assembly-1.6.0-hadoop2.6.0.jar!/org/slf4j/impl/StaticLo
Spark与Hive的完美结合：如何在Spark上部署Hive
humsuen的博客
11-12 3233
主要记录如何安装配置 Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。
hive on spark 记录
qq_15138049的博客
06-17 636
hive on spark 记录。
hive on spark通过YARN-client提交任务不成功
METON的博客
09-11 3697
在Hive on spark中  设置spark.master 为 yarn-client ， 提交HiveQL任务到yarn上执行，发现任务无法执行 输出一下错误： 可以看到 Hive on Spark 可以submit查询，但是任务无法执行。 因为我们设置的yarn-client 模式提交，所以在hive执行的输出log日志中查找到相应语句输出的log信息： 发现yar
Yarn增加新队列-----hive向Yarn提交任务后，Hadoop再次向Yarn提交任务阻塞
阿年的博客
12-09 2514
hive on spark搭建好后，任务提交会有问题，因为通过hive会话提交的任务一直存在且不会结束（除非关掉这个hive会话），根本原因是这些任务提交到了Yarn的同一个队列中，前面的任务没有执行完毕后面的任务不会执行，所以解决办法是增加一个Yarn队列，指定任务提交的队列，这样就不会出现任务的阻塞。
如何查看Spark日志与排查报错问题
书忆江南的IT博客
10-29 2万+
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在s
Hive3.1.2源码阅读--提交任务executeDriver
Cxf2018的博客
03-16 1670
由上文可知，客户端的驱动工作是在executeDriver中进行的 调用该方法时传入了三个参数： 1.1 ss hiveconf用户配置 1.2 conf hiveconf默认配置 1.3 oproc 用户环境配置 ctrl+左键进入该方法中 2.1 首先根据前面解析出来的参数，将对应的参数值封装到CliDriver对象中 2.2 如果是-e的执行方式，则直接执行后面的sql语句；如果是-h的执行方式，则执行对应的sql脚本文件 2.3 如果执行引擎是mapreduce的话，则输出一些告警信息（hive.
hive 提交不到yarn_08235.15.1HDFS慢导致Hive查询慢问题分析
weixin_42139302的博客
12-13 2万+
作者：周鹏辉文档编写目的CDH集群在业务高峰的时候，偶尔会出现Hive 查询慢的现象，本文通过分析Hive出现查询慢时候的集群状态，查找导致Hive查询慢的原因。文档概述1.异常现象2.异常分析3.总结生产环境1.CDH和CM版本：CDH5.15.1和CM5.15.12.集群启用Kerbeos+OpenLDAP+Sentry异常现象1.10月14日14:40左右，业务反应集群Hive查询...
Hive SQL执行全过程源码解析(Hive3.1)
Deegue
12-23 8372
Hive任务提交源码解析
Hive【FAQ】01：Hive连接后出现一堆乱七八糟的日志
weixin_40612128的博客
03-15 3771
Hive连接后出现一堆乱七八糟的日志
Hive代码分析报告（十一）：HQL提交到编译解析过程梳理①
weixin_45846560的博客
12-08 830
2021SC@SDUSC 目录 概述 HIVE的组成层次 从用户接口提交到进入编译解析 概述 前面的文章中，我们小组通过对代码的阅读和分析以及查阅资料，简单分析了HIVE中HQL语句从输入命令行（用户接口）到进入编译（语义分析）的简单流程。这里我汇总一下前面的分析内容，对HIVE的前两个主要流程进行梳理。 HIVE的组成层次 Hive 主要分为三个层次： 1. Interfaces：这是Hive 对外提供的使用接口 主要包括命令行接口、web 接口、基于thrift 协议的服务接口、基于
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
### 回答1： 要将作业提交到CDH6.3.2的YARN集群上，需要使用以下命令： ``` spark-submit --master yarn --deploy-mode client --class <main-class> <application-jar> <application-arguments> ``` 其中，`<main-class>`是你的应用程序的主类，`<application-jar>`是你的应用程序的jar包路径，`<application-arguments>`是你的应用程序的参数。 例如，如果你的应用程序的主类是`com.example.MyApp`，jar包路径是`/path/to/myapp.jar`，应用程序需要传递两个参数`arg1`和`arg2`，则提交作业的命令如下： ``` spark-submit --master yarn --deploy-mode client --class com.example.MyApp /path/to/myapp.jar arg1 arg2 ``` 提交作业后，Spark将在YARN集群上启动应用程序，并将日志输出到YARN的应用程序日志中。你可以使用YARN的命令行工具或Web UI来监视应用程序的运行状态和日志输出。 ### 回答2： 在CDH6.3.2框架中，使用spark-submit命令可以将作业提交到YARN资源管理器，实现分布式部署执行作业的功能。 具体步骤如下： 1. 在终端中使用spark-submit命令，指定主类名、执行参数等信息。 例如： ```bash spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 2 \ /path/to/examples.jar 100 ``` --class参数指定执行的主类名，对应的jar文件已经上传至HDFS上。 --master参数指定使用YARN作为资源管理器，--deploy-mode参数指定执行模式为集群模式。 --num-executors参数指定申请的Executor个数。 --driver-memory参数指定Driver进程需要使用的内存大小，同样可以指定Executor进程的内存和核数。 2. 执行以上命令后，YARN资源管理器会为任务分配相应的资源，并启动作业执行。 3. 可以通过YARN界面查看作业的运行状况，包括Container的个数、启动时间、资源使用情况等。 4. 执行完成后，可以在日志文件和任务的输出目录中查看作业的输出结果。 总的来说，通过spark-submit命令提交作业到YARN非常方便，只需指定相应的参数即可实现作业的分布式部署，提高执行效率并节省时间。 ### 回答3： CDH 6.3.2 是包含了 Hadoop、Hive、Spark 等组件的大数据平台。要提交 Spark 作业到 YARN 集群，需要使用 spark-submit 命令。 首先，要确保已经安装了 CDH 6.3.2 和 Spark。然后，在本地编写好 Spark 作业代码，并上传到集群中的一个路径。 接下来，通过以下命令提交 Spark 作业： ``` spark-submit \ --class com.example.YourMainClass \ --master yarn \ --deploy-mode client \ --num-executors 4 \ --executor-memory 4g \ --executor-cores 2 \ /path/to/your/spark/job.jar \ arg1 arg2 ``` 其中，`--class` 参数指定主类，`--master yarn` 表示使用 YARN 集群作为 Spark 的资源管理器，`--deploy-mode client` 表示客户端模式， `--num-executors`、`--executor-memory` 和 `--executor-cores` 分别是设定 Spark 应用程序执行所需的 executor 数量、每个 executor 占用的内存和 CPU 核心数量。`/path/to/your/spark/job.jar` 是你上传的 Spark 作业包的路径，`arg1` 和 `arg2` 是你的应用程序所需要的参数。 提交成功后，Spark 应用程序就会在 YARN 上执行，输出结果会被打印到标准输出中或者存储到指定路径。 需要注意的是，提交的 Spark 作业路径和参数是相对于 YARN 集群上的路径和参数，而不是本地路径和参数。另外，如果采用了集群管理工具 Cloudera Manager 管理 CDH 6.3.2，也可以通过其提供的界面来提交 Spark 作业，更加方便快捷。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值