记一次mr中途落盘数据丢失 hdfs超租约异常 Error: java.io.FileNotFoundException: File does not exist:

已于 2023-11-17 11:21:10 修改
阅读量1.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： hadoop mr java
于 2023-01-31 14:27:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Direction_Wind/article/details/128813719
MR任务偶尔在执行过程中出现文件不存在的错误，导致任务显示成功但实际失败。报错涉及HDFS超租约异常，具体表现为File does not exist。通过检查日志和相关资料，发现该问题可能与HDFS的基础环境设置有关。最终，通过将DataNode的最大数据传输线程参数加倍，成功解决了这个问题。

现象为：mr任务偶尔中途失败，但执行结果yarn会判定为成功，具体可以看日志报错。

hive sql中途的报错，使用的是tez引擎：
在这里插入图片描述
sqoop同步mysql到hdfs中的报错：
在这里插入图片描述
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /user/liveme/facebook/_temporary/1/_temporary/attempt_1666686642034_1714844_m_000001_0/part-m-00001 (inode 1448130627) Holder DFSClient_attempt_1666686642034_1714844_m_000001_0_275261276_1 does not have any open files.

Error: java.io.FileNotFoundException: File does not exist: /user/liveme/facebook/_temporary/1/_temporary/attempt_1666686642034_1714844_m_000001_0/part-m-00001 (inode 1448130627) Holder DFSClient_attempt_1666686642034_1714844_m_000001_0_275261276_1 does not have any open files.

这种问题首先定位的是hdfs和hadoop基础环境的问题，因为不是稳定发生，概率也不确定，所以非常不好复现，但却关键时刻会发生给你一记背刺，最关键的是失败了他会判定为成功，你就算监控都监控不到，就很让人麻。

经过查询资料
https://doc.hcs.huawei.com/zh-cn/usermanual/mrs/mrs_03_0084.html
https://blog.youkuaiyun.com/slx_2011/article/details/30286395
https://blog.youkuaiyun.com/slx_2011/article/details/30286395
https://community.pivotal.io/s/article/Hive-job-failed-with-error-org-apache-hadoop-ipc-RemoteException-org-apache-hadoop-hdfs-server-namenode-LeaseExpiredException?language=en_US
在这里插入图片描述
将DataNode max data transfer threads 参数从16401 翻倍 解决问题

java.io.FileNotFoundException: File does not exist: hdfs://xxx
weixin_44500374的博客
01-27 8767
一、产生问题背景 我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错： Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application appl
ambari进入hive2 view 2.0报错 java.io.FileNotFoundException: File does not exist: /user/admin
茂神的博客
07-04 1329
java.io.FileNotFoundException: File does not exist: /user/admin at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(Nat...
hive在执行任务的时候提示java.io.FileNotFoundException: File does not exist: hdfs://Master:9000/usr/local/apach
xuguokun1986的博客
04-27 1万+
1、错误信息 Number of reduce tasks determined at compile time: 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= In order to limit the maximum num
java.io.FileNotFoundException: File does not exist:
weixin_42022134的博客
04-18 5902
Sqoop从mysql导入文件到hdfs 报错 ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://cdh1.host.com:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.1-mr-framework...
hadoop :java.io.FileNotFoundException: File does not exist:
Data & Analysis
01-30 1万+
点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/   1.用hadoop的eclipse插件下M/R程序的时候，有时候会报 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /D:/had...
java.io.FileNotFoundException does not exist.
weixin_40348392的博客
04-27 1万+
    今天碰见了一个问题，代码生成器在test的过程中一直在报错。    java.io.FileNotFoundException     E:\insurance%20controller\2018.04.23\insurance\insurance-business\target\classes\templates\freemarker     does not exist.    这是一...
spark读取parquet数据报异常: java.lang.NegativeArraySizeException
xufwind的博客
01-29 2402
背景: 在执行spark任务的时候，中间有多次落盘，将数据以parquet格式写到hdfs。然后再将数据读取出来继续执行。执行到中间有如下报错: [spark] Caused by: org.apache.parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file hdfs://master1:8020/user/xxx/part-00512-0462dbf5-98b2-41fa-925c-3a.
实战Flink Java api消费kafka实时数据落盘HDFS
qq_31412425的博客
01-07 2526
在Java api中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs中。
spark：报错com.esotericsoftware.kryo.KryoException: Buffer underflow.
啥也不会的博客
09-07 6378
场景 spark-sql跑一个较大的任务（几亿条数据），数据落盘时报错： com.esotericsoftware.kryo.KryoException: Buffer underflow. 探索 查看抛出这个报错的源码：https://github.com/apache/spark/blob/ebdf41dd698ce138d07f63b1fa3ffbcc392e7fff/core/src/main/scala/org/apache/spark/serializer/KryoSerialize
java.io.FileNotFoundException: File does not exist: hdfs ://sxt/home/sqoop-1.4.6/lib/commons-codec-1
u010023409的博客
11-22 2250
错误显示要去hdfs寻找jar包，但是hdfs上面没有，直接将整个sqoop包上传到hdfs 1.新建home目录 hdfs dfs -mkdir /home 2.上传sqoop到hdfs的home目录下 hdfs dfs -put /home/sqoop-1.4.6 /home/ 3.sqoop import --connect jdbc:mysql://node3/test_db
hive报错File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_.jhist
胖胖的博客
11-07 1347
设置了hive metastore高可用，但未启动zookeeper!无语了 ，刚好前一天服务器掉电了，还以为是yarn坏了。
hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)
热门推荐
一路前行
07-02 6万+
搭建好hadoop后使用hadoop  fs  -put 命令上传文件发现失败，报了以下错误： 14/08/18 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/file1.txt.
Hadoop上传文件到hdfs报错:org.apache.hadoop.ipc.RemoteException(java.io.IOException)
W
08-21 4430
搭建好Hadoop集群之后使用hdfs命令上传文件到hdfs报错： hdfs dfs -put jn_gaj_lgxx.csv /input 报错内容如下所示： [root@master local]# hdfs dfs -put jn_gaj_lgxx.csv /input 19/08/21 15:55:40 WARN util.NativeCodeLoader: Unable to load ...
tensorflow 分布式结合hdfs 报错：No lease on File does not exist. Holder DFSClient_NONMAPREDUCE
bymain的博客
04-15 5427
tensorflow 分布式脚本启动方式： https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/hadoop.md 在分布式程序执行代码中使用multiprocessing 分别启动ps， master， worker multiprocessing.Process(target=star...
Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://master:8020/us
panjiao119的博客
05-03 3238
Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://master:8020/user/seletedata/part-r-0000 at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileS...
CDH 之 SPARK 启动错误 Caused by: java.io.FileNotFoundException: File does not exist
予挚之的博客
05-24 887
说明 hdfs namenode 服务器上并没有 /user/spark/applicationHistory 这个目录，进入 hdfs 服务进行创建目录。
hadoop异常：org.apache.hadoop.ipc.RemoteException
qq_41302130的博客
08-29 1万+
在使用自定义outputformat出现异常，异常值如下： hdfs.DFSClient (DFSClient.java:closeAllFilesBeingWritten(949)) - Failed to close inode 17333。 或者： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.n...
ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.lang.OutOfMemoryError: Java heap space
最新发布
03-18
<think>嗯，用户遇到了一个Java堆内存溢出的错误，具体是ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.lang.OutOfMemoryError: Java heap space。我需要先理解这个错误的背景和可能的原因。 首先，这个错误通常发生在Java应用程序中，特别是像Spark这样的分布式计算框架。当JVM的堆内存不足以容纳应用程序所需的对象时，就会抛出这个错误。用户可能是在运行一个大数据处理任务，任务需要的内存超过了当前配置的堆空间。 接下来，我需要考虑可能的原因。首先想到的是配置问题，比如Executor的内存设置不足。Spark应用中，每个Executor的堆内存由spark.executor.memory参数控制。如果数据量很大或者处理过程中需要缓存大量数据，默认的内存配置可能不够。此外，如果存在内存泄漏，或者数据处理逻辑中产生了大量不必要的对象，也可能导致OOM。 另外，分区数也是一个关键因素。如果数据分区太少，每个任务处理的数据量过大，可能导致单个Executor需要处理的数据超出内存容量。此时，增加分区数可以分散负载，减少每个任务的内存需求。 用户还可能存在数据处理效率的问题。比如，使用高内存消耗的操作（如collect()将数据拉到驱动程序）或者在转换操作中生成大量中间对象，这些都可能增加内存压力。需要检查代码是否有这些情况。 接下来是解决方案。首先调整内存配置，增加spark.executor.memory的值，同时注意堆外内存的设置。然后，优化分区，通过repartition或coalesce调整分区数量。代码层面，避免不必要的缓存和收集操作，优化数据结构，比如使用更节省内存的数据类型。此外，检查是否有内存泄漏，比如未释放的缓存或静态集合持续增长。 最后，考虑硬件层面的扩展，如果数据量实在太大，可能需要增加集群资源或使用更高效的数据处理方式。需要综合这些方面，逐步排查和调整，才能有效解决堆内存溢出的问题。</think>### 错误分析：`java.lang.OutOfMemoryError: Java heap space` 这个错误表示 **Java 堆内存不足**，通常出现在大数据处理（如 Apache Spark）或高内存消耗的 Java 应用中。以下是逐步分析及解决方案： --- ### 1. **问题本质** - **直接原因**：JVM 分配给任务的堆内存（Heap Space）不足以容纳程序运行中创建的对象。 - **常见场景**： - 数据量过大，超过 Executor 内存限制。 - 内存泄漏（如未释放的缓存或循环引用）。 - 分区不合理，单个任务处理数据量过大。 --- ### 2. **定位关键点** - **Spark 相关参数**： - `spark.executor.memory`：单个 Executor 的堆内存大小。 - `spark.executor.memoryOverhead`：堆外内存的额外分配。 - `spark.sql.shuffle.partitions`：Shuffle 操作的分区数。 - **代码行为**： - 是否在代码中显式缓存（`.cache()` 或 `.persist()`）大量数据？ - 是否存在 `collect()` 等将分布式数据拉取到驱动节点的操作？ --- ### 3. **解决方案** #### **3.1 调整内存配置** - **增加 Executor 堆内存**： ```bash spark-submit --executor-memory 8g ... # 根据集群资源调整 ``` - **配置堆外内存**（如使用 Native 代码或堆外数据结构）： ```bash spark-submit --conf spark.executor.memoryOverhead=2g ... ``` #### **3.2 优化数据分区** - **增加分区数**，减少单个 Task 的数据量： ```scala df.repartition(200) // 根据数据规模调整分区数 ``` - **调整 Shuffle 分区**： ```scala spark.conf.set("spark.sql.shuffle.partitions", "200") ``` #### **3.3 优化代码逻辑** - **避免 `collect()`**：不将分布式数据集拉取到驱动节点。 - **及时释放缓存**： ```scala val cachedData = df.cache() cachedData.count() // 触发缓存 // 使用后解除缓存 cachedData.unpersist() ``` - **使用高效数据结构**：例如用 `Array[Int]` 替代 `List[Int]`。 #### **3.4 检查内存泄漏** - **监控工具**：通过 JVM Profiler（如 VisualVM、YourKit）分析内存占用。 - **排查静态集合**：确保无全局集合对象无限增长。 --- ### 4. **扩展思考** - 若问题持续，尝试 **序列化存储** 减少内存占用： ```scala df.persist(StorageLevel.MEMORY_AND_DISK) // 内存不足时落盘 ``` - 考虑 **硬件扩展**：增加 Executor 数量或单节点内存容量。 --- ### 总结 解决 `OutOfMemoryError` 的核心是平衡 **内存分配**、**数据分布** 和 **代码效率**。需结合日志监控和参数调优逐步优化。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值