hive 提交到 yarn 任务 方式 和 spark UI 不能收集日志问题

本文探讨了通过本地客户端命令、Hive shell、Beeline JDBC及Hive-E提交HQL的不同方式,特别关注了在CDH5.13环境下使用Hive on Spark时,这些方法在Spark UI上的可见性差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.通过本地客户那端命令连接
hive -e ‘select count(*) from *** where ***’

或者 本地 敲命令 hive 然后 写 sql
方式

或者
bin/hive -e “HQL语句,多个语句用;隔开”; //-e表示直接写HQL
hive-1.1.0-cdh5.14.0]# bin/hive -f /export/servers/hive-study-data/hive-mingling

2 。通过jdbc l连接
bin/beeline
!connect jdbc:hive2://node03:10000

注意: 一般我们写代码中 会 用jdbc 或 hive -e 等两种方式去提交任务到yarn 执行。

环境为: cdh 5.13
hive 采用hive on spark(1.6)

在spark 的ui 界面去分析程序的执行,发现 通过 代码中 通过 hive -e提交的任务 spark UI 上没记录
而jdbc 方式提交的 spark UI 上有记录(yarn RM 上都有任务的记录)

hive -e 通过 RM 页面跳过去(调研)

特此记录。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值