Hadoop_三台服务器搭建集群- 启动HDFS在fs appendToFile 报错（从失败稀里糊涂Ok了）

最新推荐文章于 2024-10-30 00:46:44 发布
原创 最新推荐文章于 2024-10-30 00:46:44 发布 · 1.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #大数据

本文介绍了在三台服务器上搭建Hadoop HDFS集群时遇到的fs appendToFile错误，以及如何通过修改hdfs-site.xml配置解决此问题。错误源于节点替换策略，调整相关参数后重启集群。另外，当追加文件失败时，尝试创建新文件上传并追加成功，可能与网络配置有关。

无法使用appenToFile

一 初始

群起hdfs 集群-start-hdfs.sh
在这里插入图片描述

hadoop fs -appendToFile 3 /2

20/07/15 09:29:18 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Got error, status message , ack with firstBadLink as 172.21.0.7:50010
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:140)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1363)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1188)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:455)
20/07/15 09:29:18 WARN hdfs.DFSClient: Error Recovery for block BP-31621113-127.0.0.1-1594741021462:blk_1073741841_1021 in pipeline DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d
最低0.47元/天 解锁文章
hadoop append 追加文件 错误
修鹏的专栏
06-18 8526
Exception in thread "main" java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[10.10.22.17:50010, 10.1
聊聊复杂网络环境下hdfs的BlockMissingException异常|参数dfs.client.use.datanode.hostname
明哥的IT随笔
09-26 911
聊聊复杂网络环境下hdfs的BlockMissingException异常|参数dfs.client.use.datanode.hostname。
Hive Sql执行出错 Dag submit failed due to java.io.IOException: All datanodes DatanodeInfoWithStorage
阿拉修
10-25 1771
检查集群中的 Dfs.replication 属性，集群中 INFORMATICA 的最小复制因子为 3 (dfs.replication=3)。第二步：修改dfs.replication值为3（页面上操作），然后重启HDFS。根本原因是集群中的一个或多个信息块在所有节点中都已损坏，因此映射无法获取数据。如果副本数还是3，首先确认副本参数是否已经生效(第三步的命令中可以查看)，第四步、手动创建一个文件，上传至HDFS，观察其副本数。第一步：将HDFS上已有文件副本数修改为3。
appendToFile追加失败
qq_57778772的博客
07-22 1286
WARN hdfs.DataStreamer: DataStreamer Exception
HDFS使用appendToFile报错WARN hdfs.DFSClient: DataStreamer Exception java.io.IOException: Failed
m0_51262845的博客
12-10 2031
HDFS使用appendToFile报错WARN hdfs.DFSClient: DataStreamer Exception java.io.IOException: Failed
Hadoop-002-部署并配置HDFS集群
加贝的博客
10-30 1458
第一篇前期环境准备后, 本文主要是HDFS的部署完整配置, 直到搭建完成成功访问 http://hadoop-1:9870
【Hadoop集群搭建】集群崩溃处理及启动时常见报错解决办法
布丁椰奶冻的博客
06-20 1284
1. 集群崩溃处理 1.1 杀死进程 1.2删除目录（logs/和hadoopdata/） 1.3重新初始化集群 1.4重新启动集群 2. 启动时常见报错 在运行程序测试 MapReduce 计算框架时报错如下
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Gongmoye的博客
04-08 1692
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
【Hadoop-HA 搭建】hadoop-ha 高可用集群配置
qq_46132558的博客
08-12 1824
搭建hadoop高可用集群，首先确保搭建了hadoop集群，zookeeper集群。hadoop 三个集群节点分别为主节点 master，两个副节点node01、node02。
将文件内容追加到HDFS文件中报错：Failed to APPEND_FILE /user/huangyx/huangyx.txt for DFSClient_NONMAPREDUCE_1450897
hedgehog678的博客
10-22 4707
报错： 追加文件失败。 Failed to APPEND_FILE /user/huangyx/huangyx.txt for DFSClient_NONMAPREDUCE_1450897 网上普遍方法： 修改hdfs-core.xml文件，如果修改了仍不成功则在代码中添加两行： conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER"); conf.set("dfs.client.block.write.re
记一此写入HDFS时的报错: org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_
RuiClear的博客
06-16 1408
问题：写入HDFS时报错： org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_NONMAPPERDUCE_1129064282_1 on 10.43.42.24 bacause this file lease is currently owned by Client_NONMAP...
Hadoop HDFS追加文件内容appendToFile/append报错解决方案
热门推荐
twentyonepilots的博客
04-14 1万+
Linux下Hadoop HDFS中追加文件内容使用appendToFile(Shell)或fs.append()(Java)，遇到的几种报错情况，分别给出自己使用并成功的解决方案： Shell中报错：appendToFile: Not supported 这种情况在网上几乎搜不到，直到换了伪分布式配置才不报这个错，之前是单点式配置状态。所以怀疑是单点式配置不能使用appendToFile操作。...
hdfs dfs -appendToFile error 问题解决
CC
12-07 9549
hadoop 集群搭建好了 使用命令 把本地的 文件内容追加到 hdfs 服务器上的 指定文件 追加 本地文件的内容 到hdfs 上的文件末尾 [root@hadoop-1 practice01]# hdfs dfs -appendToFile .p1 /README.txt 报错一 [root@hadoop-1 hadoop]# hdfs dfs -appendToFile hdf...
HDFS appendToFile命令DFSClient问题
大头皮鞋的博客
09-30 6070
环境： Ubuntu16.04 Hadoop2.7.3 伪分布式 发现问题： 通过API创建hdfs 的文件(/test1.txt和/test3.txt) 时，使用appendToFile会报错，报错为DFSClient相关错误，错误如下： hadoop@node1:~$ hdfs dfs -appendToFile 2.txt /test1.txt appendToFile: Failed to APPEND_FILE /test1.txt for DFSClient_NONMAPRED.
HDFS中使用append出错
coco_ethan的专栏
12-10 4065
1.文件append的问题 hadoop的版本1.0.4以后，API中已经有了追加写入的功能，但不建议在生产环境中使用，原因如下：Does HDFS allow appends to files? This is currently set to false because there are bugs in the "append code" and is not supported i
No live nodes contain current block. Will get new block locations from namenode and retry...
qiuchenl的专栏
07-23 1万+
1   多个用户操作hdfs和hbase时，出现以下异常，大概意思就是无法连接datanode，获取不到数据 INFO hdfs.DFSClient: Could not obtain block blk_-3181406624357578636_19200 from any node: java.io.IOException: No live nodes contain current blo
HDFS写入异常，追加文件第一次抛异常
liu0bing的博客
01-02 1万+
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.RecoveryInProgressException): Failed to APPEND_FILE /surveillance/2018-01-02/host21-host.log for DFSClient_NONMAPREDUCE_-1806248259
spark常见问题处理
我的博客
08-24 4691
1、spark thriftserver报以下错误，其他诸如hive/sparksql等方式均正常 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDriverActorSystem-akka.actor.default-dispatcher-379] shutting down ActorSystem [sparkDriverActorSystem] java.lang.OutOfMemoryError: Java heap
hadoop fs -put hadoop fs -get hadoop fs -appendtofile hadoop fs -ls
最新发布
09-24
<think> 首先，用户的查询是了解四个Hadoop FS命令的使用方法： - `hadoop fs -put` - `hadoop fs -get` - `hadoop fs -appendtofile` - `hadoop fs -ls` 我需要参考提供的站内引用内容来确保准确性。引用包括：[^1], [^2], [^3]。它们提供了关于`hadoop fs`命令的一些示例和说明： - [^1] 讨论了`hadoop fs -appendToFile`的用法，包括添加本地文件内容到HDFS文件末尾、merge多个文件、支持标准输入等。 - [^2] 提到配置环境变量后可以在任意位置执行命令，并提到查看帮助信息的方式（如`hadoop fs -help rm`）。 - [^3] 提供了`hadoop fs -put`、`hadoop fs -moveFromLocal`和`hadoop fs -copyFromLocal`的例子。 用户的上一次问题是在系统级指令中，但这次是直接提问，所以我需要基于当前查询回答。系统指令要求使用中文回答，结构清晰，逐步解决问题，确保真实性可靠。 回答结构： 1. **介绍命令**：简要说明每个命令的功能。 2. **详细用法**：提供语法、参数解释和示例。 3. **注意事项**：基于引用添加相关提示。 4. **相关问题**：生成相关问题作为结尾。 确保LaTeX格式正确： - 行内数学表达式用`$...$`，但我这里几乎没有数学内容，所以可能不需要。 - 独立公式用`$$...$$`，同样不适用。 在回答中引用段落末尾自然地添加引用标识，例如：[^1]。 分解每个命令： - **`hadoop fs -put`**: - 功能：将本地文件或目录复制到HDFS。 - 语法：`hadoop fs -put <本地源> <HDFS目标>` - 示例：参考[^3]，`hadoop fs -put /user/file1` - 相关引用：[^2], [^3] - **`hadoop fs -get`**: - 功能：将HDFS文件或目录复制到本地文件系统。 - 语法：`hadoop fs -get <HDFS源> <本地目标>` - 引用中没有直接提到，但基于知识补充。 - **`hadoop fs -appendtofile`**: - 功能：追加本地文件内容到HDFS文件末尾。 - 语法：`hadoop fs -appendToFile <本地文件> <HDFS文件>` - 详细示例：参考[^1]，包括merge文件和标准输入。 - **`hadoop fs -ls`**: - 功能：列出HDFS目录的内容。 - 语法：`hadoop fs -ls <目录路径>` - 引用[^2]提到查看帮助信息，但没有具体例子；基于知识添加。 注意事项： - 引用[^2]说因为配置了`$HADOOP_HOME`，可以在任意地方执行命令。 - 引用[^1]显示支持标准输入。 生成相关问题： - 基于这些命令，创建3-4个相关问题。 - 例如： 1. 如何递归列出HDFS目录？ 2. `-put`和`-copyFromLocal`有什么区别？ 3. 如何检查HDFS文件权限？ 4. 使用`-appendtofile`时如何处理大文件？ 完整回答结构： 1. **引言**：简要介绍Hadoop FS命令。 2. **每个命令详细说明**： - `-ls`: 列出文件 - `-put`: 上传文件 - `-get`: 下载文件 - `-appendtofile`: 追加文件 3. **总结注意事项**：基于引用。 4. **相关问题**：以"§§相关问题§§"开头。 确保语言自然、专业。 </think> ### Hadoop FS 常用命令使用说明 Hadoop FS（File System）命令是Hadoop分布式文件系统（HDFS）的核心工具，用于管理文件和目录。以下是您查询的 `hadoop fs -put`、`hadoop fs -get`、`hadoop fs -appendtofile` 和 `hadoop fs -ls` 命令的详细使用说明。基于Hadoop文档和引用内容，我将逐步解释每个命令的功能、语法、参数及示例，确保回答真实可靠。Hadoop FS命令可在任意位置执行，前提是已配置 `$HADOOP_HOME` 环境变量[^2]。 --- #### 1. **`hadoop fs -ls`：列出文件或目录内容** - **功能**：显示HDFS目录下的文件详情，包括权限、所有者、大小和修改时间。 - **语法**： ```bash hadoop fs -ls [-d] [-h] [-R] <目录路径> ``` - `-d`：仅显示目录本身（不递归）。 - `-h`：以易读格式显示文件大小（如KB、MB）。 - `-R`：递归列出子目录内容（默认仅当前目录）。 - **示例**： - 列出根目录：`hadoop fs -ls /` - 递归列出 `/user/hadoop`：`hadoop fs -ls -R /user/hadoop` - **注意事项**：路径需使用HDFS格式（如 `hdfs://nn.example.com/path`）；省略路径时默认为用户主目录[^2]。 --- #### 2. **`hadoop fs -put`：上传文件到HDFS** - **功能**：将本地文件系统（Linux）的文件或目录复制到HDFS，类似于 `-copyFromLocal`，但支持更多文件系统[^3]。 - **语法**： ```bash hadoop fs -put [-f] [-p] <本地源路径> <HDFS目标路径> ``` - `-f`：强制覆盖已存在的目标文件。 - `-p`：保留文件属性（如权限、时间戳）。 - 支持多个源文件：`hadoop fs -put localfile1 localfile2 <HDFS目录>`。 - **示例**： - 上传单个文件：`hadoop fs -put /home/user/file.txt /user/hadoop/data` - 上传多个文件到指定目录：`hadoop fs -put file1.txt file2.txt /user/hadoop/` - **注意事项**：目标路径必须为HDFS有效路径；上传前需确保本地文件存在[^3]。 --- #### 3. **`hadoop fs -get`：下载文件到本地** - **功能**：将HDFS文件或目录复制到本地文件系统，是 `-put` 的反操作。 - **语法**： ```bash hadoop fs -get [-p] [-crc] <HDFS源路径> <本地目标路径> ``` - `-p`：保留文件属性。 - `-crc`：下载时验证CRC校验和（确保数据完整性）。 - 支持目录下载：自动递归处理子目录。 - **示例**： - 下载单个文件：`hadoop fs -get /user/hadoop/data.txt /home/user/` - 下载整个目录：`hadoop fs -get /user/hadoop/dataset /local/backup` - **注意事项**：本地目标路径需有写入权限；若文件已存在，会报错除非使用 `-f` 选项（Hadoop 3.0+支持）[^2]。 --- #### 4. **`hadoop fs -appendtofile`：追加内容到HDFS文件** - **功能**：将本地文件内容追加到HDFS文件末尾，适用于日志合并或增量数据写入[^1]。 - **语法**： ```bash hadoop fs -appendToFile <本地源文件> ... <HDFS目标文件> ``` - 支持多个源文件：按顺序追加到目标文件。 - 特殊符号 `-`：表示从标准输入（stdin）读取数据（如 `echo "text" | hadoop fs -appendToFile - /target`）。 - **示例**： - 追加单个文件：`hadoop fs -appendToFile local.log /user/hadoop/app.log` - 合并多个文件：`hadoop fs -appendToFile log1.txt log2.txt /user/hadoop/full.log` - 从标准输入追加：`echo "new entry" | hadoop fs -appendToFile - hdfs://nn.example.com/data.log` - **注意事项**：目标文件必须已存在且可写；HDFS需启用追加功能（默认开启）；支持跨文件系统（如 `hdfs://` URI）[^1]。 --- #### 总结与注意事项 - **通用提示**： - 命令可在任意Linux位置执行，前提是配置好 `$HADOOP_HOME`[^2]。 - 使用 `hadoop fs -help <命令>` 查看详细帮助（如 `hadoop fs -help ls`）[^2]。 - 路径区分大小写；操作前建议用 `-ls` 验证路径是否存在。 - **最佳实践**： - 大文件操作时，添加 `-Ddfs.blocksize=128M` 优化性能。 - `-appendtofile` 适合增量数据处理，但频繁追加可能影响并发性能[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值