hadoop学习笔记(四)Wrong FS报错

使用mount挂载磁盘mount: wrong fs type, bad option, bad superblock on 以及Centos7.9服务器LVM方式挂载磁盘时的问题 使用mount挂载磁盘的常见问题就是可能碰到mount point does not exist以及wrong fs type, bad option之类的错误。进行磁盘挂载前,我们要先确认linux是否已经识别磁盘,可以使用lsblk或fdisk -l查看磁盘是否已经能正常识别。如果能识别如Disk /dev/vda和Disk /dev/vdb多个,则表示正常识别。识别之后执行挂载命令:mount /dev/vdb /disk。 阅读详情

             Wrong FS  expected: file:/// 问题

 对于一个简单的hadoop api调用问题,经常出现以下报错:

Configuration conf = new  Configuration();

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path(“/home/ptrdu/input/file1”),new Path( "hdfs://namenode:9000/user/ptrdu/move_input/"));

只是一段简单的代码,用于从本地传送数据到hdfs

wrong FS:hdfs://namenode:9000/home/ptrdu/move_input     exptected:file:///报错

主要原因是Configuration conf = new  Configuration();这一段代码默认获得的是hadoop-default.xml和hadoop-site.xml文件,而未获取core-site.xml文件。

<configuration>

<property>

  <name>fs.default.name</name>

  <value>hdfs://namenode:9000</value>

</property>

<property>

  <name>hadoop.tmp.dir</name>

  <value>/home/ptrdu/tmp</value>

</property>

</configuration>

而core-site指定了hdfs的路径,所以会造成wrong fs的报错

修改方法:

Configuration conf = new  Configuration();

conf.addResource(new Path("/home/ptrdu/hadoop-0.20.2/conf/core-site.xml"));

FileSystem fs = FileSystem.get(conf);

fs.copyFromLocalFile(new Path(“/home/ptrdu/input/file1”),new Path( "hdfs://namenode:9000/user/ptrdu/move_input/"));

要将"/home/ptrdu/hadoop-0.20.2/conf/core-site.xml"路径转化为Path型,不然仍会报错。

Hadoop 问题java.lang.IllegalArgumentException Wrong FS: hdfs://192.168 在看hadoop in action 的时候,关于hdfs的操作地方,抄写代码PutMerge到eclipse上,出现了错误 Wrong FS: hdfs://192.168.96.131:9000/user/hadoop, expected: file:/ 然后,上网查找了一下这个错误,说是将core-site.xml 和hdfs-site.xml拷贝到项目里去就可以,原因是访问远程的H 阅读详情

相关推荐

Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///

照着《Hadoop实战》写了一个程序: Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/output, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.

GROWTH 5465

Wrong FS: hdfs:, expected:file:///

这是在对hdfs进行写入操作时发现的错误,最终解决了,给大家分享一下,希望对遇到同样问题的朋友

yxdayd的专栏 5833

红外协议 IR NEC 协议深度解析-简单易懂协议详解

1. 协议特征 使用双向编码(又称曼彻斯特编码); 使用38K载波对编码后的波形进行调制; 位时间 1.12ms 或 2.25ms 2. 调制 定义脉冲560µS为脉冲基本宽度T; 根据脉冲时间长短来解码。推荐载波占空比为1/3至1/4: (1) Logic “1” 位宽为2.25ms,脉冲时间560us(T + 3T); (2) Logic “0” 位宽为1.12ms,脉冲时间560us(T + T)。 (3 ) 重复码: 位宽为11.25ms,脉冲时间9ms(16T + 4T)。 3. 协议

代码打工人的博客 1万+

Hadoop(1):权限问题以及Wrong FS错误

记录一些问题。首先是权限的问题。在Eclipse下开发时候会遇到Permission Denied的状况。该权限即可(貌似不太安全,我看到有人是修改的配置文件,等我和大牛们讨论了再说) 1、权限的改法,以我的为例 ./hadoop fs -chmod -R 777 ~/hadoop/hadoop 2、关于使用java api上传文件。 在定义一个FileSystem变量的时候伪分

Make My First Step 7671

[WeChatMsg]导出csv格式微信聊天记录的手把手教程

手把手教大家如何导出自己的聊天记录得到csv文件,即使是电脑小白也可以轻松学会o(* ̄▽ ̄*)ブ

weixin_51094633的博客 1万+

SAP 货币类型和公司代码的货币设置

货币类型分为公司代码和集团货币,一般FI 10类型和集团货币 30,事务代码是8KEM; 设置货币类型的事务代码是OB22 在S/4 1809版本里编辑功能统合到事务代码FINSC_LEDGER 中了,这里集中了分类账和公司代码的设置; 设置多账簿的币种(会出现在BSEG和FAGLFLEXA表中) 汇率维护在TCURR表中,可通过BAPI_EXCHANGERATE_GETDETAIL函数获取。 CO货币的事务代码是成本控制范围货币:OKKP ,一般设置为货币码20和30; 另外, SCC4设置集团货币,

RichardYang2020的博客 1万+

Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///---异常解决方案

今天搭建了一个hadoop2.0(yarn集群平台),首先在上面测试了一个FileSystem实例程序,代码如下:package IT0701;import java.io.IOException; import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils; import org.apach

什么最重要?算法!! 4403

CTR模型:Deep&Cross Network

1. 简介 DCN模型(Deep & Cross Network for Ad Click Predictions)是2017年提出的。 出发点: (1)人工探索所有的交叉特征是不现实的; (2)难于推广未曾出现过的交叉特征。 DNN能够自动探索交叉特征并推广到未出现过的交叉特征,但是DNN的学习效率不高,且无法显式的学习特征交叉。 Deep&Cross Network, DCN 模型保留了DNN的优点,并提出了新的cross network,高效学习高阶特征交互。 优点: (1)cross

rosefun96的博客 9358

hadoop报错Wrong FS: hdfs:/, expected: file:///

在hadoop-2.2.0版本中对hdfs进行简单的测试操作,代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///...

yangbosos的博客 5149

PLC1200使用CB1241RS485通讯模块做从站进行Modbus Rtu通信

添加新设备(PLC)->设备和网络管理->点击PLC->看到硬件目录选择通信板->点到点->CB1241(RS485)->看到6ES7241-1CH30-1XB0选择添加,如图。指向Modbus保持寄存器数据块的指针 我这里指向了自定义的DB块数据中一个INT数组。在通信->通信处理模块->MODBUS(选择不带RTU的通信指令块)注意:接线时,TRA接485调试模块的B- TRB接调试模块的A+组态后的硬件标识符 270 对应自己组态后自动生成的。1:事务完成,且无任何错误。波特率对应自己使用的。

swmyaopeng的博客 2万+

Ardupilot姿态控制详解(完结篇)

本文主要是对过去写的一些APM中姿态控制流程及函数博文的汇总。 按照之前写的博文以及个人认为的学习顺序,给出APM姿态控制器的学习顺序如下: APM姿态旋转理论基础 Ardupilot姿态控制器 PID控制流程(整定后的P控制器) 详解APM的开方控制器sqrt_controller Ardupilot前馈及平滑函数input_euler_angle_roll_pitch_yaw解析 Ardupilot倾转分离函数thrust_heading_rotation_angles Ardupilot四元数姿态控制

moumde的博客 7024

hadoop运行报错Wrong FS: hdfs:/, expected: file:///

内容源自:https://blog.youkuaiyun.com/u014470581/article/details/51480600 报错信息: Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImp...

aabb7654321的博客 455

AEB(自动紧急制动)

AEB系统对静止物体的误判率受多种因素影响,包括传感器精度、算法复杂性以及环境条件等。通过多传感器融合、算法优化、硬件升级以及环境适应性增强等技术手段,可以有效减少误判问题。美国和欧洲的AEB法规均强调了技术性能和安全性,但具体要求有所不同。美国的NHTSA规定更注重高速和复杂场景下的紧急制动能力,而欧盟的ECE R152法规则更侧重于基础的AEB功能覆盖范围。

百态·数智思维 | 聚焦大数据、量化与未来AI 2550

Wrong FS: hdfs expected: file:

场景:错误java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:/// 异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///   在hadoop-2.2.0版本中对hdfs进行简单的测试操作,代码如下所示

曾经是个DBA 1155

SpringBoot实战教程-springboot概论

Spring Boot 是一个快速开发框架,能够快速的整合第三方框架,简化XML配置,全部采用注解形式,以及自动配置。内置web容器,帮助开发者能够实现快速开发,简化了应用系统的初始搭建以及开发过程。

鸟哥哥的专栏 4155

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Windows下 haoop下运行程序时出现错误:Hadoop HDFS Wrong FS: hdfs:/ expected file:///

Windows下 haoop下运行程序时出现错误:Hadoop HDFS Wrong FS: hdfs:/ expected file:/// 贡献博客一篇:点击打开链接 很多坑,暂且记录 先看解决办法: 无非是两种方式: 1. 在 eclipse 工程 src 问价夹下加入三个文件 1)hdfs-site.xml 2)core-site.xml 3)m...

王小明的专栏 2590

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

hadoop异常: Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///

问题描述: 在本地运行hadoop Map/Reduce程序时,在涉及到hdfs文件操作的时候,往往会出现上面提到的错误,例如,下面这段代码: 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path); 通过试验发现,在分布式ha

wangjia55的专栏 5996

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

spark-thrift-server 报错 Wrong FS

Error: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:java.lang.IllegalArgumentException: Wrong FS:

以梦为马|越骑越傻 1584

Hadoop权限问题以及Wrong FS错误

记录一些问题。首先是权限的问题。在Eclipse下开发时候会遇到Permission Denied的状况。该权限即可(貌似不太安全,我看到有人是修改的配置文件,等我和大牛们讨论了再说) 1、权限的改法,以我的为例 [python] view plaincopy ./hadoopfs-chmod-R777~/hadoop/hadoop 2、关于使用java api上...

caodaoxi的专栏 141

hive SQL 查询报错Wrong FS

错误信息 Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://master01.cdh:8020/user/hive/warehouse/acccore.db/t_sy_banks is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://master01.cdh:8020/user/hive/wareh

BertramLAU的专栏 695

Hadoop出现 Wrong FS: hdfs://......错误的解决方法

今天在hadoop项目中出现以下报错:java.lang.IllegalArgumentException: Wrong FS: hdfs://......,expected: file:///....... 解决方法:需要把hadoop集群上的core-site.xml和hdfs-site.xml放到当前工程下,然后运行即可。 转载于:https://www.cnblogs...

weixin_30306905的博客 873

hadoop部署错误之一:java.lang.IllegalArgumentException: Wrong FS

特别注意:hadoop的相关配置文件尽量使用主机名而不是ip地址(使用ip时,执行mapred可能出现“java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.9.138:9000/home/hadoop/HadoopInstall/tmp/mapred/system/job_200911032130_0008/job.xml, e...

p_x1984的专栏 933

hadoop dfs 保错.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:///

Java调用hadoop时出现报错:java.lang.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:/// 错误分析: hdfs是一种uri路径,hadoop并不认识hdfs:这种格式,后面提示:file:/// 这是一种本地文件系统,由此可见这里要求我们传入一个本地文件系统。

whb3299065的博客 4054

HDFS 的Java操作“ Wrong FS: hdfs://xxx, expected: file:///”

从HDFS集群中下载文件到本地:import java.io.FileOutputStream; import java.io.IOException; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputS

everl_1的专栏 4989

java.lang.IllegalArgumentException: Wrong FS错误解决

[size=large]在nutch爬取数据存放在hdfs时候报错: Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.130.54:19000/user/hmail/output/part-00000, expected: file:/// 把hadoop集群的配置...

lies_joker的专栏 2830
上一篇: hadoop学习笔记(三)mapreduce程序wordcount
下一篇: hadoop学习笔记(五) java heap space报错
ptrdu
博客等级 码龄15年 1粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值