安装Sqoop的时候出现Error: /root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce does not exist!

最新推荐文章于 2024-04-15 12:01:54 发布

原创最新推荐文章于 2024-04-15 12:01:54 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

博客记录了执行sqoop help命令时出现的错误，错误信息显示/root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce不存在，需设置$HADOOP_MAPRED_HOME。原因是要修改配置文件，给出了修改步骤，再次执行sqoop help证明配置成功。

具体的错误信息如下：

[root@bigdata11 lib]# sqoop help
Error: /root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce does not exist!
Please set $HADOOP_MAPRED_HOME to the root of your Hadoop MapReduce installation.

错误的原因是需要修改配置文件

修改配置文件
   cd /$SQOOP_HOME/conf
   vi sqoop-env-template.sh
   export HADOOP_COMMON_HOME=/root/training/hadoop-2.7.3
export HADOOP_MAPRED_HOME=/root/training/hadoop-2.7.3

再次执行sqoop help

证明配置成功

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JustDoDT

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop问题：The auxService:mapreduce_shuffle does not exist

qq_39820098的博客

05-17

1178

问题描述：The auxService:mapreduce_shuffle does not existINFO mapreduce.Job: Task Id : attempt_1461808335315_0001_m_000000_1, Status : FAILED Container launch failed for container_1461808335315_0001_01_000...

Hadoop的mapreduce出现问题，报错The auxService:mapreduce_shuffle does not exist

Hao

12-24

704

出现图上的错误，检查你的yarn-site.xml配置是否有错误，每个单词都看一下，我出现报错就是nodemanager少了个r ，修改过来后就Ok了。

参与评论您还未登录，请先登录后发表或查看评论

Hadoop报错-InvalidAuxServiceException:The auxService:mapreduce shuffle does not exist

Destiny的博客

03-03

929

Issue Answer 这是因为mapreduce的shuffle机制不存在，无法进行maptask任务，主要检查一下yarn-site.xml配置文件，然后重启Hadoop集群

hadoop问题集:1.mapreduce_shuffle does not exist

谁伴我闯荡

01-18

1102

执行任务报警： Container launch failed for container_1433170139587_0005_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist 原因是yarn中没有au...

hadoop--mapreduce中错误

小欢

11-19

392

MapReduce程序运行错误--Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 错误解决方法：在mapred-site.xml中添加欢迎大家转载，转载请注明出处。...

sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar

06-04

《全面解析：Sqoop-1.4.5在Hadoop-2.0.4-alpha环境下的安装与使用》 Sqoop是一款开源的数据迁移工具，它主要用于在关系型数据库（如MySQL、Oracle等）和Hadoop之间进行数据的导入导出。在大数据处理中，Sqoop扮演...

sqoop-1.4.5.bin__hadoop-2.6.0.zip

04-21

Sqoop-1.4.5.bin__hadoop-2.6.0.zip 文件是一个包含了 Sqoop 版本 1.4.5 和针对 Hadoop 版本 2.6.0 的预编译二进制包，方便用户在 Hadoop 环境中快速部署和使用 Sqoop。 Sqoop 的主要功能包括： 1. 数据导入：从...

sqoop-1.4.5-cdh5.3.6.tar.gz

03-14

Sqoop 是 Apache 开源项目中一个用于在关系数据库与 Hadoop 之间进行数据导入导出的工具。在大数据处理场景中，Sqoop 提供了高效、方便的数据迁移能力，允许用户将结构化数据从传统的 RDBMS（如 MySQL、Oracle 等）...

sqoop-1.4.5-cdh5.4.2.tar.gz

05-17

标签“sqoop1.4.5”、“cdh”和“大数据”进一步强调了这个版本的Sqoop是针对大数据环境，特别是CDH5.4.2设计的。CDH是Cloudera提供的一种企业级Hadoop发行版，包含多个Hadoop生态系统组件，如HDFS、MapReduce、...

Warning: /home/sqoop-1.4.5-cdh5.3.6/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /home/sqoop-1.4.5-cdh5.3.6/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /home/sqoop-1.4.5-cdh5.3.6/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /home/sqoop-1.4.5-cdh5.3.6/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 25/09/04 23:24:05 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.3.6 25/09/04 23:24:05 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 25/09/04 23:24:05 INFO oracle.OraOopManagerFactory: Data Connector for Oracle and Hadoop is disabled. 25/09/04 23:24:05 INFO manager.SqlManager: Using default fetchSize of 1000 25/09/04 23:24:05 INFO tool.CodeGenTool: Beginning code generation 25/09/04 23:24:05 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:05 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM APPEND_TEST t WHERE 1=0 25/09/04 23:24:05 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /home/hadoop-2.8.2 Note: /tmp/sqoop-root/compile/6a88a05f1ea3fd8256509275ffd22b72/APPEND_TEST.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for details. 25/09/04 23:24:06 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/6a88a05f1ea3fd8256509275ffd22b72/APPEND_TEST.jar 25/09/04 23:24:06 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:06 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:06 INFO mapreduce.ImportJobBase: Beginning import of APPEND_TEST 25/09/04 23:24:06 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 25/09/04 23:24:06 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:06 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 25/09/04 23:24:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032

最新发布

09-06

Sqoop 1.4.5 - cdh5.3.6 运行时出现 HBase、HCatalog、Accumulo、Zookeeper 路径不存在警告以及代码生成和导入过程中的问题，可以通过修改配置文件来解决。具体步骤如下： 1. **重命名配置文件**： ```bash mv ...

JAR does not exist or is not a normal file

alac2002的博客

04-15

1327

于是翻找安装目录下的每个文件夹，查看share/hadoop下的所有目录中的子目录和文件，发现tools目录下没有编译好的jar包，但发现了有source子目录，在source下发现hadoop-streaming-3.3.0-sources.jar，于是在lib目录下发现编译好的hadoop-streaming-3.3.0.jar。搜索得出结论不论是Hadoop3还是Hadoop2都存在hadoop-streaming.jar。

sqoop 启动报配置错误

一杯派蒙的博客

08-27

627

ble rds.customer --hive-overwrite Error: /home/banxian/sqoop1/bin/../../hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. HADOOP_COMMON_HOME 设置成hadoop安装的根目录 ble rds.customer --hive-overwrite Error: /home/banxia

Please set $HADOOP_COMMON_HOME to the root

chuanjiaoye5017的博客

04-03

1901

[root@centos2 sqoop-1.4.4.bin__hadoop-1.0.0]# bin/sqoop helpError: /usr/lib/hadoop does not exist!Please set $HADOOP_COMMON_HOME to the root of you...

Hadoop-MapReduce

weixin_30786617的博客

09-21

251

1 MapReduce概述 2 MapReduce原理转载于:https://www.cnblogs.com/eugene0/p/11565090.html

Hadoop 2.6.0的安装与配置

蔡先生的专栏

01-17

8199

系统：Ubuntu 14.10，其部署在VMware workstation 11.0.0上 JDK：jdk-7u25-linux-i586.tar.gz Hadoop:hadoop-2.6.0.tar.gz（下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/） Step1：上传安装包在windows系统预

11、Libgdx的音频

weixin_34204057的博客

02-09

146

Sqoop 简介与安装

黑白影的博客

06-07

483

一、Sqoop 简介 Sqoop是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：导入数据：从MySQL，Oracle等关系型数据库中导入数据到HDFS、Hive、HBase等分布式文件存储系统中；导出数据：从分布式文件系统中导出数据到关系数据库中。其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移，如下图：二、安装版本选择：目前Sqo...

一次easyscheduler报错及解决

曹健的博客

12-16

619

起因：重装easyscheduler之后，sqoop任务报如下错误： [INFO] 2019-12-16 10:50:45.943 cn.escheduler.server.worker.log.TaskLogger:[178] - [taskAppId=TASK_11_4005_15340] -> Error: /opt/soft/hadoop does not exist! Pl...

sqoop安装遇到的问题

weixin_34356310的博客

01-18

882

错误: 找不到或无法加载主类 org.apache.sqoop.Sqoop最终解决办法是吧sqoop目录下的sqoop-1.4.4.jar拷贝到hadoop的lib目录下解决 Warning: /usr/lib/hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HB...