hive&sqoop问题与解决

最新推荐文章于 2023-06-26 17:59:37 发布
最新推荐文章于 2023-06-26 17:59:37 发布
阅读量348 收藏
点赞数
分类专栏： sqoop hive 文章标签： hive sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45676491/article/details/129645892
版权
在使用Sqoop从HDFS导数据到MySQL时遇到unknownqueue错误，可能是因为缺少Hive队列，需在capacity-scheduler.xml配置新的队列并分发到集群。另外，Exportjob失败可能由于数据库格式不匹配，应确保MySQL数据库格式与Hive一致。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题一：
在这里插入图片描述
这个问题我hive on spark的时候没有发生，而在使用sqoop将hdfs导入到mysql时出现

可以看到 unknow queue：hive 意思是指缺少hive队列，所以需要创建一个新的队列命名为hive
原解决链接为Failed to submit XXXX to YARN : Application XXXXX submitted by user XX to unknown queue: XX

需要修改conf的capacity-scheduler.xml
可以参考Yarn资源队列配置和使用和Hadoop: Capacity Scheduler
记得分发到其他集群机上

最后需要更新配置

yarn rmadmin -refreshQueues

问题二：

Export job failed
这个问题需要确认mysql的数据库格式是否和hive的一样

操作hive报Application xxx submitted by user hadoop to unknown queue: default
wysghmbb的博客
07-01 3560
今天用beeline去操作hive，简单的语句能执行成功，复杂的就不行了，记录在此望下次不再入坑。 select 语句能出数据 执行select c_13930,c_45365,c_std,c_cv,c_22599,c_opp,c_cs,c_is_outnet from devtest.yangtest001 a;能出数据 create 语句报错 执行create table devtest.t1 as select c_13930,c_45365,c_std,c_cv,c_22599,c_opp,
HIVE&Flume&Sqoop综合练习
qq_63040382的博客
11-14 229
Hive存储的数据量大，在查询数据的时候，通常没有索引，需要扫描整个表；当然这个低是有条件的，即数据规模较小，当数据规模大到 超过数据库的处理能力的时候，Hive的并行计算显然能体现出并行的优势。Hive对数据更新不友好；RDBMS支持频繁、快速数据更新Hive是针对数据仓库应用设计的，数据仓库的内容是读多写少的。因此，Hive中不建议对 数据的改写，所有的数据都是在加载的时候确定好的。RDBMS使用自己的执行引擎 Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。
sqoop导出数据到mysql报错： Application application_1687334079275_0015 submitted by user root to unknown queu
最新发布
weixin_47340211的博客
06-26 534
如果application指定了超时时间，则提交到该队列的application能够指定的最大超时时间不能超过该值。如果application没指定超时时间，则用default-application-lifetime作为默认值。哪些用户有权操作队列，管理员权限（查看/杀死）降低default队列资源最大容量为。用户最多可以使用队列多少资源，1表示。指定hive队列的资源额定容量。指定hive队列的资源最大容量。指定多队列，增加hive队列。（2）为新加队列添加必要属性。刷新队列，就可以看到两条队列。
CDH 给root 用户赋值 超级权限 和 hive 赋值操作 详细
weixin_40809627的博客
12-03 4139
hive中查看用户权限 ‘由上可知hive 用户权限分配 一般可以通过两方面 1、直接对不同的用户赋权。 2、通过对hive中的角色赋权（一般可以通过hue） 待补充 ...
Mapreduce提交job到队列，报错Failed to submit application
热门推荐
大黑牛的博客
07-22 1万+
  需求：提交job到集群中的某个队列，此时我们把default 队列改为Flow ，order，然后会报下述的错： Exception in thread "main"  java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1532225489052...
hive任务卡在Tez session hasn‘t been created yet. Opening session
NDF923的专栏
06-02 1万+
执行一个插入操作，结果任务在这里卡住不动了：Tez session hasn't been created yet. Opening session 网上一堆的解决办法，bi
HIVE&&SQOOP
04-21
标题 "HIVE&&SQOOP" 暗示了我们将探讨两个大数据处理工具，Hive和Sqoop。Hive是基于Hadoop的数据仓库工具，它允许用户使用SQL类查询语言（HQL）来管理和分析存储在Hadoop分布式文件系统（HDFS）中的大量数据。而...
hive&sqoop;的ppt
11-22
hive,sqoop的ppt,制作详细,适合老师讲课时用,也适合自学的人
hive与sqoop
weixin_46767998的博客
04-12 1643
hive：基于Hadoop的关系数据库离线同步到数仓的工具，将结构化数据映射成一张数据库表，实现数据的提取、转换、加载。 sqoop导入有两种方式： 1）直接导入到hdfs，然后再load到hive表中 2）直接导入到hive中 一般生产情况导业务库数据，都是指定导入，不能全部导入，对业务库压力大。 1）需要已知的参数 mysql 的jdbc连接参数：jdbc链接、用户名、密码 mysql同步表的信息：列、表名 hive链接参数 ：是否有链接限制 hive目标表的信息：表名、分隔符、是否分区 2）具体参数
yarn高可用队列报错
leezsj的博客
07-05 6045
submitted by user root to unknown queue: qfuser INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2 原因在于默认的节点并不处于active状态， 解决方法，找到现在处于active状态的resourcemanagerkill jps 查看运行的服务 kill -9 要杀死的id yarn-deamon.sh start resourcemanager 重启resour.
Hive出现的问题汇总
Aime123456789的博客
08-08 2849
1.出现问题的前提条件：我在Hive中创建一个表然后想向表中插入数据，每次插入数据都会出现如下异常； java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1533616024453_0004 to YARN : Application applicat...
HIVE的错题本
epitomizelu的专栏
05-20 1026
一， 初始化元数据出错 使用derby作为元数据库，初始化时失败。 /export/server/hive-2.1.0/bin/schematool -dbType derby -initSchema 0: jdbc:derby:> CREATE FUNCTION "APP"."NUCLEUS_ASCII" (C CHAR(1)) RETURNS INTEGER LANGUAGE JAVA PARAMETER STYLE JAVA READS SQL DATA CALLED ON NULL INPU
Hadoop：多租户（一）Capacity Schedular
Joseph25的博客
03-11 1227
Hadoop的yarn资源调度器一般分为FIFO，Capacity Scheduler跟Fair Scheduler。但是多租户大多常用两种Capacity Scheduler跟Fair Scheduler两种 1，Capacity Scheduler: 基于yarn的资源调度，协调不同资源需求的应用程序，比如内存、CPU、磁盘。但是本质还是资源队列,但是在队列内部还是用的FIFO，因此...
Kylin在创建Cube时出现 unkown queue:default（找不到默认队列）
weixin_42965737的博客
01-11 940
为了在运行任务时取得资源隔离的作用，设置了不同的队列，这里我的集群为例，队列有：hive 、spark 、flink。 环境：CDH集群， kylin采用tar包安装集成，需要手动启动。 kylin默认的队列是default; 查看日志 报错如下 解决方法： 上面的问题时由于kylin中的默认队列是：default, 需要修改为yarn中的队列（本集群的yarn队列有hive, spark， flink） 这里采用将kylin默认的yarn队列设置为hive, 需要在kylin的配置文件中添加配置，
HUE运行任务时出现“Unkown queue: deafult“,也就是找不到默认队列, 详解
weixin_42965737的博客
12-30 1629
1.删除默认的default队列后，新增spark，hive队列，需要修改不少地方，一个yarn，一个hive hive-site.xml，修改那些参数，我这里不做赘述，如果有需要可以留言我…… 上菜啦， 上图是hue运行任务是出现错误. 解决方法如下： 再次运行 ，就没有问题了！ ...
hadoop配置遇到的问题（更新中）
diyinqian的博客
08-19 1948
先推荐一个超级棒的教程：厦门大学大数据实验室 Hadoop官方文档：Apache Hadoop apark安装和测试：Spark快速入门指南 – Spark安装与基础使用0.cetos6.0安装软件时get-apt命令不可用 红帽系列用yum命令安装软件 1.在别人之前配置过的机器上重新配置的时候，datanode无法启动（通过jps查看）无法创建datanode这个文件夹，也不生成data
Failed to submit XXXX to YARN : Application XXXXX submitted by user XX to unknown queue: XX
taoist1997的博客
12-21 6159
最近做数仓的项目搭建到hive on spark 的时候，在给Yarn 配置多队列容量调度器，报了如下的错误： 可以看到很明显有是说队列名不存在了，反复检查了几次，配置的文件不会错，包括每个配置项代表什么意思都仔细研究了下。参考yarn队列配置 偶然看到一个命令却很少有人提及: yarn rmadmin -refreshQueues 很多人都是直接重启yarn就好了，但是我重启了很多次都没用直到我用了上面一段代码，对yarn队列刷新，才看到了令人开心的一幕： 所以小伙伴们，配置完之后，记得分发配置文件，
Yarn上运行spark-1.6.0
weixin_33958366的博客
02-17 304
Yarn上运行spark-1.6.0.pdf 目录 目录 1 1.约定 1 2.安装Scala 1 2.1.下载 2 2.2.安装 2 2.3.设置环境变量 2 3.安装Spark 2 3.1.下载 2 3.2.安装 2 3.3.配置 3 3.3.1.修...
提交MapReduce任务出错：unknown queue: default
长安一片月的博客
07-23 3907
  报错：unknown queue: default 原因：提交job作业，给application设置队列，如果没有设置队列，默认加载default队列，问题是学习配置任务队列的时候，我把参数设置order,phone，这样把之前root下默认的default给覆盖掉了。 解决：在重新配置root下的队列中多加一个default用,隔开。 错误截图： capacity-schedu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值