hadoop之sqoop安装遇到问题（file does not exist）

最新推荐文章于 2023-11-07 16:59:24 发布
最新推荐文章于 2023-11-07 16:59:24 发布
阅读量1.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop之遇到问题解决方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36172070/article/details/53412285
本文介绍了在使用sqoop过程中遇到的文件不存在错误，并提供了解决方案，包括添加mapred配置及确保主节点与从节点时钟同步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最后验证sqoop时出现以下问题（file does not exist）：



对于这个 问题，我的解决如下：

1、添加mapred配置

（1）先进入hadoop路径下，然后进入mapred加入配置。输入：mapred.site.xml  命令，如图：


（2）加入以下代码




2、调主节点和重节点时钟同步，要它们时间相同。

*分别在主节点和重节点上进行以下步骤修改



File does not exist: /user/anonymous/.staging/job_1628851608378_6064/报错问题解决
石榴姐yyds
08-16 1981
user/admin/.staging/job_1571397171638_0001/job_1571397171638_0001_1.jhist 所以为什么没有下发，这里面jhist，只是被引发的错误，它还不是根本的错误。看到上面错误，我们就可以判断，这是网络问题，然而网络无非是ip地址，防火墙，端口，hosts等。我们正常的hosts是这样的。在回头复盘想想，我们找不到jhist，跟我们的网络问题二者是很难找到关联的，所以大家在遇到问题的时候，一定多排查和思考，而不是看到一个错误，就以为是它的问题。
记一次mr中途落盘数据丢失 hdfs超租约异常 Error: java.io.FileNotFoundException: File does not exist:
Direction_Wind的博客
01-31 1211
这种问题首先定位的是hdfs和hadoop基础环境的问题，因为不是稳定发生，概率也不确定，所以非常不好复现，但却关键时刻会发生给你一记背刺，最关键的是失败了他会判定为成功，你就算监控都监控不到，就很让人麻。将DataNode max data transfer threads 参数从16401 翻倍 解决问题。现象为：mr任务偶尔中途失败，但执行结果yarn会判定为成功，具体可以看日志报错。
sqoop：File does not exist:
不花的花和尚的博客
08-02 1682
sqoop从mysql中拉表报错： 02-08-2019 10:47:28 CST bi_cal_resume_achieve_sqoop_import INFO - 19/08/02 10:47:28 INFO hive.metastore: Trying to connect to metastore with URI thrift://pf-bigdata1:9083 02-08-201...
File does not exist: hdfs://localhost:9000/user/someone/.sparkStaging/application_1512614402012_0009
热门推荐
freeRoad
12-07 1万+
最近学习spark，写了一个spark workcount 在本地pesudo-distributed hadoop上基于yarn 运行，碰到的问题如下，总结下供有相同问题的同仁参考。   spark 提交方式如下：   spark-submit --class "com.my.WordCount" --master yarn --deploy-mode cluster build/...
hadoop :java.io.FileNotFoundException: File does not exist:
Data & Analysis
01-30 1万+
点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/   1.用hadoop的eclipse插件下M/R程序的时候，有时候会报 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /D:/had...
appendToFile: Cannot create file/user/hadoop/text.txt. Name node is in safe mode.
85号小摩托的博客
03-31 1307
在终端中先进入hadoop中，然后输入命令bin/hadoop dfsadmin -safemode leave使其离开安全模式 运行过程如图：（中间错误过多，有选择的看）
hadoop dfs put File does not exist
aganzhengzhu的专栏
07-04 3772
疯掉了，测试Hadoop下的wordcount示例，需要复制文件到hdfs，照shus
Spark Streaming实时监听HDFS目录，但出现：Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COP
a921026768的博客
06-12 1315
Spark Streaming实时监听HDFS目录，出现找不文件异常。 异常主要提示信息：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COPYING_ 详情如下图 出现问题原因 直接上传文件会在 HDFS 上生成一个临时文件，后缀是.COPYING，Spark Streaming .
大数据-安装sqoop1.4.7-并记录利用sqoop将mysql数据导入到hive的详细过程---内含hive查询hdfs的原理研究
weixin_47055922的博客
02-19 927
一、场景描述 上一篇博客研究了不用sqoop将mysql中的数据导入到hive中，发现有一定的局限性，数据量较少还好，要是数据表过多，就显的很繁琐，所有我想简化这个步骤，利用sqoop来导入。 毕竟sqoop（SQL-to-Hadoop）是前辈们专门研究出来的，用于关系数据库与非关系数据库之间做数据传输的。 因为我的hadoop环境是自己安装的，目前还没有sqoop环境，所以我需要先安装sqoop环境，下面做一个详细的介绍，从sqoop的安装，...
关于Hadoop在java客户端进行下载时的异常java.io.FileNotFoundException: Hadoop home directory is no existed的解决办法
wow_is_nothing的博客
08-14 1697
1、将hadoop安装包解压至windows中的文件下 2、在windows的环境变量中，新建HADOOP_HOME环境变量，路径=hadoop的解压位置bin的上一级目录。 3、在环境变量Path中添加%HADOOP_HOME%\bin;一路点击确定后退出。 这类似于JAVA_HOME的配置。 4、重启电脑，重启集群，重启idea，如果还是同样的错误，就将hadoop/bin/的hadoop.dll复制到C:\Windows\System32下，再次重启idea就行了。 ...
sqoop查询oracle数据报表不存在,使用sqoop1.4.4从oracle导入数据到hive中错误记录及解决方案...
weixin_39896617的博客
04-03 376
在使用命令导数据过程中，出现如下错误sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --table T_USERINFO错误1：File does not exist: hdfs://opt/s...
Linux用新建的用户登录出现/usr/bin/xauth: file /home/chenwi/.Xauthority does not exist
weixin_44019182的博客
07-03 2821
Linux用新建的用户登录出现/usr/bin/xauth: file /home/chenwi/.Xauthority does not exist 原因 添加用户是直接用了 useradd username 这样新建的用户是没有用户家目录的 新建用户家目录 cd home mkdir user_dir 给用户授权目录 chown username:username -R /home/user_dir ...
spark报错File does not exist: hdfs://master:9000/sparkhistory
dorothy400的博客
02-12 5467
spark报错 File does not exist: hdfs://master:9000/sparkhistory hdfs dfs -mkdir /sparkhistory 更多解释详见 https://blog.youkuaiyun.com/zmc921/article/details/80338267
hive报错File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_.jhist
胖胖的博客
11-07 1279
设置了hive metastore高可用，但未启动zookeeper!无语了 ，刚好前一天服务器掉电了，还以为是yarn坏了。
HDFS 常见的异常处理方式汇总
Shockang的博客
06-20 2672
Hadoop 由众多模块组成，哪一个出错，都会导致 Hadoop 整个系统出现异常。下面介绍下常见的 Hadoop 异常处理（不定期更新）。NameNode 被重新格式化，DataNode 数据版本与 NameNode 不一致。磁盘损坏。更换硬盘。文件确实不存在，或者是权限问题导致数据没有正确地写入Hiv的读取路径。设置 或设置 Hive 读取路径正确的可写权限。之前用错误账户启动 Hadoop,导...
一把辛酸泪-----DataNode假活
qq_55906442的博客
06-02 688
记录一下历时四天的Hadoop改错历程！本人hadoop使用的版本是hadoop-3.1.3的高可用（HA）目录问题描述：发现问题：问题原因：解决：从错节点jps查看进程显示正常，DataNode和NodeManager都存在的，但是运行程序的时候会报奇奇怪怪的错误，下面是会报的错误： ERROR tool.ExportTool: Encountered IOException running export job: java.net.ConnectException: Call From hadoop01
File does not exist: hdfs://xxx:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framewo
前方的路在刚开始
08-06 1192
先用cdh安装yarn的mapredce的jar,然后在看看是不是时间问题，原因是0.5秒同步一次心跳，我其中一台节点，是在其他地方，所以网速不好。
hive 找不到mysql jar包,hive查询mysql元数据的时候出现需要手动导jar包到hdfs上
weixin_39610759的博客
03-19 174
hive查询mysql元数据的时候出现需要手动导jar包到hdfs上热度 1已有 826 次阅读2014-6-4 14:22|环境：hive-0.10.0-cdh4.5.0 ，hadoop-2.0-4.5，在查询hive 的数据时候出现找不到hdfs上的jar包需要手动导入：select count(1) from weibo-qqSLF4J: See http://www.slf4j.org/c...
JAR does not exist or is not a normal file: /usr/local/hbase/inventory.jar
最新发布
07-04
<think>我们正在处理用户的问题：“解决JAR文件不存在或不是常规文件的问题 /usr/local/hbase/inventory.jar” 根据用户提供的路径，我们需要检查该JAR文件是否存在以及其状态。 步骤： 1. 首先，我们可以使用`ls`命令检查文件是否存在以及文件类型。 2. 如果文件不存在，我们需要重新获取或重新安装该JAR文件。 3. 如果文件存在但不是常规文件（例如是一个目录或符号链接），我们需要进一步处理。 4. 如果文件存在且是常规文件，但用户仍然遇到问题，可能是文件损坏，需要重新下载或验证。 根据引用内容，用户之前提到过安装JDK（引用[1]）和安装sqoop（引用[2]），但没有直接提到HBase。不过，我们可以推断用户可能是在搭建HBase环境。 因此，我们可以建议以下步骤： 第一步：检查文件是否存在以及文件类型 使用命令：`ls -l /usr/local/hbase/inventory.jar` 第二步：根据检查结果处理 情况1：文件不存在 解决方案：重新获取inventory.jar文件。可能来源： - 从HBase的安装包中提取 - 从官方下载 - 如果之前有备份，从备份恢复 情况2：文件存在但不是常规文件（例如是一个目录） 解决方案：删除该目录，然后重新放置正确的JAR文件。 情况3：文件存在且是常规文件，但可能损坏 解决方案：重新下载或验证文件的完整性（例如检查MD5/SHA1）。 第三步：确保环境配置正确 如果JAR文件需要被其他程序使用，确保环境变量（如CLASSPATH）或相关配置文件正确设置了该JAR的路径。 另外，根据引用[3]中提到的故障排除方法，我们可以使用标准工具（如`file`命令）来检查文件类型，使用`md5sum`或`sha1sum`来验证文件完整性（如果有可用的校验和）。 如果用户需要重新安装HBase，可以参考类似引用[2]中安装sqoop的步骤：解压安装包并移动到指定目录。 假设用户没有HBase安装包，我们可以建议从Apache HBase官网下载。 示例步骤： 1. 下载HBase: `wget <下载链接>` 2. 解压: `tar -xzf <下载的文件> -C /usr/local/` 3. 进入HBase目录，查找inventory.jar（或者根据文档确认该JAR是否在特定位置） 4. 如果找到，将其复制到/usr/local/hbase/目录下（或者创建符号链接） 注意：如果用户使用的是特定版本的HBase，需要确保下载的版本一致。 由于用户问题中提到了具体路径，我们假设该JAR文件应该是HBase的一部分。 如果以上步骤不能解决问题，可能需要检查HBase的配置以及相关服务的日志。 相关问题： 1. 如何检查文件类型和状态？ 2. 如何验证文件的完整性？ 3. 如何安装或重新安装HBase？</think>### 解决JAR文件不存在或非法文件问题 针对路径 `/usr/local/hbase/inventory.jar` 的JAR文件问题，请按以下步骤排查： #### 1. **验证文件是否存在** ```bash ls -l /usr/local/hbase/inventory.jar ``` - **若返回 "No such file"**：文件已被删除或路径错误 - **若返回非 "-rw-r--r--" 权限**：文件类型异常（如目录或符号链接） #### 2. **常见解决方案** **情况1：文件不存在** ```bash # 重新安装HBase（参考类似安装流程[^2]） wget https://archive.apache.org/dist/hbase/xxx/hbase-x.x.x-bin.tar.gz tar -xzf hbase-x.x.x-bin.tar.gz -C /usr/local/ mv /usr/local/hbase-x.x.x /usr/local/hbase # 检查JAR是否在安装包内 find /usr/local/hbase -name inventory.jar ``` **情况2：非法文件类型** ```bash # 删除异常文件 rm -rf /usr/local/hbase/inventory.jar # 从备份恢复或重新下载JAR cp /backup/hbase/inventory.jar /usr/local/hbase/ ``` **情况3：文件损坏** ```bash # 校验MD5（需官方提供正确值） md5sum /usr/local/hbase/inventory.jar # 重新下载特定JAR wget -O /usr/local/hbase/inventory.jar https://repo.example.com/hbase/jars/inventory.jar ``` #### 3. **环境检查** ```bash # 确认Java环境正常（参考JDK安装[^1]） java -version # 检查文件权限 chmod 644 /usr/local/hbase/inventory.jar chown hadoop:hadoop /usr/local/hbase/inventory.jar ``` #### 4. **深度排查** - 检查HBase日志：`tail -f /usr/local/hbase/logs/hbase-*.log` - 确认是否被误删：`grep 'inventory.jar' /var/log/audit/audit.log` - 使用`file`命令检测文件类型：`file /usr/local/hbase/inventory.jar` > **注意**：若该JAR是自定义组件，需检查构建流程；若属第三方组件，建议联系供应商获取官方安装包。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值