从本地往hdfs文件系统上传文件，出现错误

最新推荐文章于 2024-10-05 23:42:26 发布
最新推荐文章于 2024-10-05 23:42:26 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Problems
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yhblog/article/details/103880380

17/11/12 22:44:10 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Bad connect ack with firstBadLink as 192.168.0.101:50010
at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.createBlockOutputStream(DFSOutputStream.java:1456)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.createBlockOutputStream(DFSOutputStream.java:1456) at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.createBlockOutputStream(DFSOutputStream.java:1456)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.nextBlockOutputStream(DFSOutputStream.java:1357)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:587)

解决办法：
查看各节点的防火墙状态sudo service iptables status(root用户不加sudo)关闭防火墙：

iptables -F（或者sudo service iptables stop，这是临时关闭，需要更改下面的配置文件，以后就不用临时关闭了,把stop换成start就是临时开启防火墙）

永久关闭防火墙:

chkconfig iptables off

禁用selinux: （这句可以不要，直接改下面的配置文件）

setenforce 0

永久关闭selinux：

vi /etc/selinux/config文件

设置“SELINUX=disabled”

Hadoop 搭建中遇到的问题 —— local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000
HeatDeath的博客
12-25 1万+
ls: Failed on local exception: java.io.IOException: Connection reset by peer; Host Details : local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000; 由于 CentOS 7.2 的镜像有坑，无法使用 servic
本地的文件传到服务器上的hdfs_HDFS文件上传下载步骤
weixin_29345939的博客
12-23 1576
先来了解下分布式文件系统(Distributed FileSystem)，它是跨越多台计算机或者服务器来管理文件或目录等数据。换句话说，分布式文件系统是允许我们在一个集群的多个节点或机器上存储数据，并允许多个用户访问这些数据的文件系统。1.当客户端要向HDFS文件系统上传文件时，第一步通过分布式文件系统先与NameNode建立连接，上传自己的元数据。(a)通过调用客户端的对象Distribute...
向HDFS上传文件报 java.io.IOException: Bad connect ack with firstBadLink异常
简简单单兔呦
05-19 2465
情景描述: 在测试向HDFS从上传文件时，报java.io.IOException异常.上传代码片段 private static void copyLocalFileToHDFS() { InputStream in = null; OutputStream out = null; try { in = new Bu
Java API上传文件到hdfs出现错误（记录四）
weixin_42522212的博客
12-30 876
记录学习中遇到的困难之四： 问题描述：java.lang.NoSuchMethodError:org.apache.hadoop.fs.FSOutputSummer.(Ljava/util/zip/Checksum;II)V. 解决办法：在pom文件中引入下列jar包 <dependency>     <groupId>org.apache.hadoop</gr...
上传hdfs文件出现错误
一曲无痕奈何
09-19 1105
_COPYING_ could only be replicated to 0 nodes instead of minReplication (=1) 打印datanode的log日志： 发现又是id 不匹配的问题，这时候继续修改id教程:https://blog.csdn.net/qq_41479464/article/details/97611590 重启集群就可以了。 ...
hdfs上传文件报错解决办法
方法属性类，一个都不会
08-11 1413
在hdfs上传文件报一下错误： 原因：三台虚拟机的防火墙没有关闭。 解决办法： systemctl stop firewalld.service
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
09-16
标题中的知识点主要涉及Python连接HDFS进行文件上传下载以及Pandas转换文本文件到CSV的操作。在描述中，提到了Python在Linux环境下与HDFS交互的需求，以及使用Pandas进行数据处理的场景。从标签中我们可以进一步了解...
大数据处理从零开始————4.认识HDFS分布式文件系统
m0_74922316的博客
10-05 1967
当单台服务器的存储容量和计算性能已经无法处理大文件时，分布式文件系统应运而生。什么是分布式系统，分布式系统是由多个独立的计算机或节点组成的系统，这些计算机通过网络连接，协同工作，以实现共同的目标或完成某些任务。Hadoop的分布式文件系统HDFS是基于Google的GFS（Google File System）论文建立的。HDFS优化了大数据的存储和访问，为处理海量数据提供了解决方案。HDFS是一个典型的Master/ Slave（主从）架构模型系统，旨在管理大型分布式数据集和密集计算。什么是主从架构？
如何使用hdfs文件系统上传或下载数据? 关闭hdfs文件系统安全模式
最新发布
05-13
要将本地文件上传到 HDFS，可以使用 `hdfs dfs` 命令工具。以下是一个典型的上传流程： #### 1. **基本语法** ```bash hdfs dfs -put <local_src> ... ``` 其中 `<local_src>` 是本地文件路径，而 `<dest>` 是...
Hadoop HDFS无法上传文件的异常处理
weixin_33725515的博客
01-24 1670
2019独角兽企业重金招聘Python工程师标准>>> ...
HDFS服务器使用命令可以上传文件,但客户端上传失败问题File ~ could only be written to 0 of the 1 minReplication nodes.
迷雾总会解
08-13 6307
今天怀着忐忑的心情测试一下客户端上传文件，一开始创建文件夹成功，以为没什么问题了，但是接下来上传文件时，却发生了错误。???? 具体报错如下： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /0529/dashen/test01.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and
hadoop无法上传hdfs方法解决
qq_56572867的博客
04-18 7115
首先，我遇到的是两种情况第一种是namenode没有开启，秒挂的情况，这个会出现这种提示 put: File /hdfsdata/NOTICE.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation. 注意就是下面提醒了datanode是0，通过jps查看，
hadoop常见错误及处理方法
willorfang的学习专栏
03-08 1712
1、hadoop-root-datanode-master.log 中有如下错误： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 导致datanode启动不了。 原因:每次namenode format会重新创建一个namen
hadoop wordcount运行实例
lpxuan151009的专栏
07-07 1471
hadoop wordcount运行实例
HDFS读写数据流程&&错误问题解决
qq_61645895的博客
01-10 1574
HDFS读写数据流程&&NameNode&Secondary NameNode工作机制&&错误问题解决
错误：hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException:
热门推荐
我喂自己袋盐
12-25 2万+
错误：hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: hadoopioexceptionconnectbadack  hadoop 运行任务的时候突然报错： java.io.IOException: Bad connect ack with firstBadLink 192.1
Hadoop使用常见问题以及解决方法 .
管子（zero）的杂乱空间
12-25 627
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/security...
hdfs命令get或者put提示找不到目录或文件
weixin_30361641的博客
08-16 3580
今天用hdfs命令出现个诡异情况： hadoop fs -put a.txt /user/root/ put: `a.txt': No such file or directory 用get命令存在相同问题 目前未深究，因急用环境，先处理了put命令： 1.看日志，服务未有异常； 2.重启机器/重启hadoop服务 3.仍存在问题 4.最后tmp大法：到tmp目录下put成功了（get也成功了） ...
将本地文件系统文件上传到HDFS
03-27
<think>好的，用户之前问过关于rz -be命令的问题，现在他想了解如何将本地文件系统文件上传到HDFS。我需要先确定用户的基础，可能他对HDFS有一定了解，但需要具体操作步骤。 首先，用户可能是在使用Hadoop环境，所以需要确认他是否已经安装并配置好了Hadoop。如果用户是新手，可能需要先指导他检查Hadoop服务是否运行正常，比如通过hdfs dfsadmin -report来查看状态。 接下来，上传文件到HDFS的常用命令是hadoop fs -put或者hdfs dfs -put。这两个命令基本上是一样的，但hdfs dfs是更推荐的用法。我需要详细说明命令的语法，包括本地路径和HDFS目标路径的格式，特别是注意路径是否正确，尤其是HDFS的路径是否需要提前创建。 用户可能遇到权限问题，比如没有写入HDFS目标目录的权限，这时候需要提到如何修改权限，使用hdfs dfs -chmod或者-chown。另外，如果上传大文件，可能需要考虑性能优化，比如调整块大小或使用并行上传工具，但用户可能暂时不需要高级内容，保持回答简洁。 还要考虑用户是否知道如何查看HDFS中的文件是否存在，比如使用hdfs dfs -ls命令来确认上传结果。此外，覆盖已存在文件的情况，需要使用-append或-override选项，不过要注意Hadoop版本是否支持这些选项。 可能用户在上传过程中会遇到错误，比如路径不存在，或者权限不足，需要给出常见的解决方法，例如创建目录、修改权限等。另外，如果用户需要上传整个目录，可能需要提到使用-put命令递归上传，或者使用copyFromLocal。 最后，要确保用户安装了Hadoop并且配置正确，否则命令无法执行。可能还需要提醒用户注意网络连接和HDFS的存储空间是否足够。总结来说，回答需要分步骤，结构清晰，涵盖基本命令、参数说明、示例以及常见问题处理，确保用户能顺利上传文件。</think>将本地文件系统文件上传到 HDFS（Hadoop Distributed File System）主要通过 Hadoop 命令行工具实现。以下是分步说明和关键命令： --- ### **1. 前置条件** - 已安装 Hadoop 并启动 HDFS 服务（通过 `hdfs dfsadmin -report` 确认状态） - 本地文件路径和 HDFS 目标路径需明确 --- ### **2. 核心命令** #### **(1) 单文件上传** ```bash hadoop fs -put <本地文件路径> <HDFS目标路径> # 或 hdfs dfs -put /path/to/local/file.txt /hdfs/path/directory/ ``` **示例**： ```bash hadoop fs -put /home/user/data.csv /user/hadoop/input/ ``` #### **(2) 多文件/目录上传** ```bash hadoop fs -put <本地文件1> <本地文件2> ... <HDFS目标目录> # 或递归上传整个目录 hadoop fs -put -f /local/directory/ /hdfs/path/ ``` --- ### **3. 参数说明** | 参数 | 作用 | |------|------| | `-put` | 上传文件（等同于 `-copyFromLocal`） | | `-f` | 覆盖已存在的文件 | | `-p` | 保留文件权限和元数据 | | `-l` | 限制副本数（需结合 `-D dfs.replication=1`） | --- ### **4. 验证操作** ```bash # 检查文件是否上传成功 hadoop fs -ls /hdfs/path/ # 查看文件内容 hadoop fs -cat /hdfs/path/file.txt ``` --- ### **5. 常见问题处理** - **权限不足**： ```bash hdfs dfs -chmod 755 /hdfs/path/ # 修改目录权限 hdfs dfs -chown hadoop:hadoop /hdfs/path/ # 修改所有者 ``` - **路径不存在**： ```bash hdfs dfs -mkdir -p /hdfs/path/ # 递归创建目录 ``` - **大文件优化**： ```bash hadoop fs -D dfs.blocksize=256M -put largefile.dat /hdfs/path/ ``` --- ### **6. 替代命令** - **`-copyFromLocal`**：功能与 `-put` 相同，但严格要求本地路径存在 - **WebHDFS API**（适合编程调用）： ```bash curl -i -X PUT "http://<namenode>:50070/webhdfs/v1/path/file?op=CREATE" ``` --- ### **总结** - 优先使用 `hadoop fs -put` 或 `hdfs dfs -put` - 注意路径格式：本地路径为普通路径，HDFS 路径以 `/` 开头 - 上传后务必通过 `-ls` 或 `-cat` 验证结果
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhblog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值