安装Sqoop的时候出现Error: /root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce does not exist!

最新推荐文章于 2024-04-15 12:01:54 发布
最新推荐文章于 2024-04-15 12:01:54 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liuzhuang2017/article/details/82113462
博客记录了执行sqoop help命令时出现的错误，错误信息显示/root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce不存在，需设置$HADOOP_MAPRED_HOME。原因是要修改配置文件，给出了修改步骤，再次执行sqoop help证明配置成功。

具体的错误信息如下：

[root@bigdata11 lib]# sqoop help
Error: /root/training/sqoop-1.4.5.bin__hadoop-0.23/../hadoop-mapreduce does not exist!
Please set $HADOOP_MAPRED_HOME to the root of your Hadoop MapReduce installation.

错误的原因是需要修改配置文件

修改配置文件
    cd /$SQOOP_HOME/conf  
    vi  sqoop-env-template.sh
    export HADOOP_COMMON_HOME=/root/training/hadoop-2.7.3
    export HADOOP_MAPRED_HOME=/root/training/hadoop-2.7.3

 


再次执行sqoop help

证明配置成功

JustDoDT
关注
Hadoop Mapreduce Error Input path does not exist: hdfs://localhost:54310/user/hduser/input"
wscrf的博客
04-12 3424
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/inputhduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/s...
Hadoop问题：The auxService:mapreduce_shuffle does not exist
qq_39820098的博客
05-17 1164
问题描述：The auxService:mapreduce_shuffle does not existINFO mapreduce.Job: Task Id : attempt_1461808335315_0001_m_000000_1, Status : FAILED Container launch failed for container_1461808335315_0001_01_000...
Hadoop的mapreduce出现问题，报错The auxService:mapreduce_shuffle does not exist
Hao
12-24 693
出现图上的错误，检查你的yarn-site.xml配置是否有错误，每个单词都看一下，我出现报错就是nodemanager少了个r ，修改过来后就Ok了。
Hadoop报错-InvalidAuxServiceException:The auxService:mapreduce shuffle does not exist
Destiny的博客
03-03 901
Issue Answer 这是因为mapreduce的shuffle机制不存在，无法进行maptask任务，主要检查一下yarn-site.xml配置文件，然后重启Hadoop集群
hadoop问题集:1.mapreduce_shuffle does not exist
谁伴我闯荡
01-18 1071
执行任务报警： Container launch failed for container_1433170139587_0005_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist 原因是yarn中没有au...
hadoop--mapreduce中错误
小欢
11-19 351
MapReduce程序运行错误--Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 错误 解决方法： 在mapred-site.xml中添加 欢迎大家转载，转载请注明出处。...
sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar
06-04
《全面解析：Sqoop-1.4.5在Hadoop-2.0.4-alpha环境下的安装与使用》 Sqoop是一款开源的数据迁移工具，它主要用于在关系型数据库（如MySQL、Oracle等）和Hadoop之间进行数据的导入导出。在大数据处理中，Sqoop扮演...
sqoop-1.4.5.bin__hadoop-2.6.0.zip
04-21
Sqoop-1.4.5.bin__hadoop-2.6.0.zip 文件是一个包含了 Sqoop 版本 1.4.5 和针对 Hadoop 版本 2.6.0 的预编译二进制包，方便用户在 Hadoop 环境中快速部署和使用 Sqoop。 Sqoop 的主要功能包括： 1. 数据导入：从...
sqoop-1.4.5-cdh5.3.6.tar.gz
03-14
Sqoop 是 Apache 开源项目中一个用于在关系数据库与 Hadoop 之间进行数据导入导出的工具。在大数据处理场景中，Sqoop 提供了高效、方便的数据迁移能力，允许用户将结构化数据从传统的 RDBMS（如 MySQL、Oracle 等）...
sqoop-1.4.5-cdh5.4.2.tar.gz
05-17
标签“sqoop1.4.5”、“cdh”和“大数据”进一步强调了这个版本的Sqoop是针对大数据环境，特别是CDH5.4.2设计的。CDH是Cloudera提供的一种企业级Hadoop发行版，包含多个Hadoop生态系统组件，如HDFS、MapReduce、...
Warning: /home/sqoop-1.4.5-cdh5.3.6/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /home/sqoop-1.4.5-cdh5.3.6/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /home/sqoop-1.4.5-cdh5.3.6/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /home/sqoop-1.4.5-cdh5.3.6/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 25/09/04 23:24:05 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.3.6 25/09/04 23:24:05 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 25/09/04 23:24:05 INFO oracle.OraOopManagerFactory: Data Connector for Oracle and Hadoop is disabled. 25/09/04 23:24:05 INFO manager.SqlManager: Using default fetchSize of 1000 25/09/04 23:24:05 INFO tool.CodeGenTool: Beginning code generation 25/09/04 23:24:05 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:05 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM APPEND_TEST t WHERE 1=0 25/09/04 23:24:05 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /home/hadoop-2.8.2 Note: /tmp/sqoop-root/compile/6a88a05f1ea3fd8256509275ffd22b72/APPEND_TEST.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for details. 25/09/04 23:24:06 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/6a88a05f1ea3fd8256509275ffd22b72/APPEND_TEST.jar 25/09/04 23:24:06 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:06 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:06 INFO mapreduce.ImportJobBase: Beginning import of APPEND_TEST 25/09/04 23:24:06 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 25/09/04 23:24:06 INFO manager.OracleManager: Time zone has been set to GMT 25/09/04 23:24:06 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 25/09/04 23:24:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
最新发布
09-06
Sqoop 1.4.5 - cdh5.3.6 运行时出现 HBase、HCatalog、Accumulo、Zookeeper 路径不存在警告以及代码生成和导入过程中的问题，可以通过修改配置文件来解决。具体步骤如下： 1. **重命名配置文件**： ```bash mv ...
JAR does not exist or is not a normal file
alac2002的博客
04-15 1254
于是翻找安装目录下的每个文件夹，查看share/hadoop下的所有目录中的子目录和文件，发现tools目录下没有编译好的jar包，但发现了有source子目录，在source下发现hadoop-streaming-3.3.0-sources.jar，于是在lib目录下发现编译好的hadoop-streaming-3.3.0.jar。搜索得出结论不论是Hadoop3还是Hadoop2都存在hadoop-streaming.jar。
sqoop 启动报配置错误
一杯派蒙的博客
08-27 620
ble rds.customer --hive-overwrite Error: /home/banxian/sqoop1/bin/../../hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. HADOOP_COMMON_HOME 设置成hadoop安装的根目录 ble rds.customer --hive-overwrite Error: /home/banxia
Sqoop 简单介绍与配置安装
我是泛滥
05-14 685
目录简单介绍下载解压配置环境变量修改配置加入数据库驱动三级目录三级目录 简单介绍 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 下载解压 下载所需版本的Sqoop ，这里我下载的官网的Sqoop 。下载地址为：https://mirror.bit.edu.cn/apache/sqoop/1.4.
问题解决sqoop:Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your
Bamboo_shui的博客
08-13 7582
sqoop执行命令报错： Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. 根据错误提示缺少的hadoop安装路径配置，需修改sqoop配置文件。 解决： 1.进入sqoop下的conf配置文件目录， 复制 sqoo...
Hadoop-MapReduce
weixin_30786617的博客
09-21 238
1 MapReduce概述 2 MapReduce原理 转载于:https://www.cnblogs.com/eugene0/p/11565090.html
Hadoop 2.6.0的安装与配置
蔡先生的专栏
01-17 8170
系统：Ubuntu 14.10，其部署在VMware workstation 11.0.0上 JDK：jdk-7u25-linux-i586.tar.gz Hadoop:hadoop-2.6.0.tar.gz（下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/） Step1：上传安装包        在windows系统预
11、Libgdx的音频
weixin_34204057的博客
02-09 138
(官网：www.libgdx.cn) Libgdx提供了简单的方法对较小的音效和磁盘中的音乐进行回放。它同样也提供了方便的针对音频硬件的读写权限。 所有的音频操作都通过audio模块来完成： Audio audio = Gdx.audio; Libgdx将在应用暂停或恢复时自动暂停和恢复音频回放。 （www.libgdx.cn版权所有，如需转载，注明出处） 转载...
Sqoop学习汇总及错误整理
wensuting001的博客
03-31 1078
环境准备 Hadoop环境 2.7.2 关系型数据库 mysql 5.6 sqoop环境 1.4.6 Sqoop是什么 它是开源的数据传输工具 它是Hadoop生态圈中一个第三方模块 它是Apache 的项目（不断优化、用户多、遇到问题可以很快解决） 为什么要使用sqoop? 快速实现Hadoop(HDFS/hive/hbase)与传统数据库之间的数据传递 sqoop提供许多数据传输方式 Sqoop支持多种数据库（mysql,oracle） sqoop提供功能： 数据导入（将关系型数据库中的数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值