使用hdfs 的 Java API创建目录显示UnknownHostException:hadoop02

最新推荐文章于 2022-03-11 16:50:17 发布
最新推荐文章于 2022-03-11 16:50:17 发布
阅读量409 收藏
点赞数
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42636010/article/details/90553154
版权
博客讲述在Hadoop中简单创建目录时遇到问题，因工程下hdfs - site.xml中的hadoop02无法识别。最终通过将导入工程的hdfs - site.xml和core - site.xml中的hadoop01、hadoop02、hadoop03改为IP地址解决问题，无需改动集群端文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误截图：
在这里插入图片描述
简单的创建一个目录，却告诉我不知道hadoop02是什么，因为我是把，core-site.xml和hdfs-site.xml文件放到工程下，然后new Configuration的时候会自动找到工程下的hdfs-site.xml读取，然而这个hdfs-site.xml中的hadoop02，他不知道是什么东西，最后把hdfs-site.xml和core-site.xml中的hadoop01 ，hadoop02，hadoop03改为IP地址就解决了问题，不需要把集群端的core-site.xml和hdfs-site.xml文件改动，只改导入工程的core-site.xml和hdfs-site.xml文件。

使用Java实现HDFS文件读写，解决报错：java.net.UnknownHostException
dd1296的博客
06-30 2021
错误来源 我想用JAVA实现HDFS文件读写，所以在maven项目中写了如下的测试方法： @Test public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException { //1、创建配置文件 Configuration conf=new Configuration(); //2、获取文件系统 FileSyst
hadoop配置HA后，hive查询时出现 SemanticException java.net.UnknownHostException: hadoop
清盏涂墨衣
11-06 775
我的原因是配置HA时改变了主机名称，导致与元数据中的主机名不一致。 解决办法： 修改下面两张表 DBS ： Hive数据仓库的总路径 SDS ： Hive每张表对应的路径 使用sql语句替换 hadoop是我以前的主机名称 hadoop01是我现在的主机名称 update DBS set DB_LOCATION_URI=REPLACE (DB_LOCATION_URI,'hadoop','ha...
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
java操作Hadoop源码之HDFS Java API操作-创建目录，附带所需全部jar包，欢迎下载学习。
使用HDFS java api 创建文件出错。
weixin_33757911的博客
06-17 253
//创建文件核心代码 public static void createNewHDFSFile(String toCreateFilePath, String content) throws IOException { Configuration config = new Configuration(); config.set("hadoop.job.ugi", "Admi...
java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop102
oadgadgad的博客
03-11 3712
用Java客户端HDFS连接Hadoop102时报以上错误，是因为没有在WINDOW下面配置hadoop102的地址映射。 找到hosts文件，在文件末尾添加hadoop102对应的IP地址 具体修改hosts文件请参考： https://blog.youkuaiyun.com/shenjuntao520/article/details/112602553?ops_request_misc=&request_id=&biz_id=102&utm_term=windown%20%E6%B7%BB
hadoop下zookeeper的安装与配置&Java API操作zookeeper
m0_45899013的博客
08-24 454
1、ZK下载 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 2、解压ZK [hadoop@hadoop000 software]$ tar zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ../app/ [hadoop@hadoop000 software]$ cd ../app/zookeeper-3.4.5-cdh5.7.0/ 3、ZK主要目录 (1)ZK的启动脚本目录
Hadoop_day02_Zookeeper的深入理解和操作（客户端、API（Java））
cpz
08-15 185
1. zookeeper的数据类型 ZooKeeper 的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间，都是采用树形层次结构. ZooKeeper 树中的每个节点被称为—个Znode。和文件系统的目录树一样，ZooKeeper 树中的每个节点可以拥有子节点。 zookeeper树和文件系统的目录树不同之处： Znode 兼具文件和目录两种特点。既像文件一样维护着数据、元...
WARN fs.FileSystem: Failed to initialize fileystem hdfs://master:9000: java.lang.IllegalArgumentException: java.net.UnknownHostException: master -mkdir: java.net.UnknownHostException: master Usage: hadoop fs [generic options]
最新发布
07-12
您遇到了一个Hadoop文件系统初始化失败的错误。这个错误通常是由于Hadoop无法解析主机名导致的。在您的情况下，它无法解析主机名"master"。为了解决这个问题，您可以尝试以下几个步骤： 1. 检查您的主机名配置：...
hadoop高可用集群下，然后启动spark集群，提交任务时读取hdfs失败。Caused by: java.net.UnknownHostException: mycluster
乔治大哥的博客
11-15 3130
java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374) at org.apache.hadoop.hdfs.NameNodeP...
Hadoop之HDFS上测试创建目录、上传、下载文件(这些基本操作记录下来，总有忘的时候)
u011495642的博客
10-24 3559
  1、HDFS上创建目录 ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 1 2、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1   3、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hd...
学习API之目录操作一 创建目录
weixin_30549175的博客
05-19 306
#include <windows.h>#include <stdio.h> int main(){ LPSTR szDirPath = "测试"; if (!CreateDirectory(szDirPath,//路径或目录名 NULL)) { printf("创建目录 %s 错误。\n", szDirPath); return 1; } printf(...
Java API实现HDFS有关目录与文件的相关功能
热门推荐
行秋的博客
10-24 1万+
HDFS常用操作 JavaAPI实现HDFS以下功能。 1.在HDFS中创建一个新目录； 2.从本地拷贝文件到新创建的目录中； 3.将HDFS中指定文件的内容输出到终端中； 4.显示一个指定目录下所有文件； 5.完成指定目录下指定类型文件的合并 6.在HDFS中，将文件从源路径移动到目的路径。 7.删除HDFS中指定的文件； 实验环境：IDEA 项目如下： 代码如下： 1.在HDFS中创建一个新目录； import org....
使用JavaAPI操作HDFS创建目录和权限问题
大数据学习
01-03 7360
一、创建目录 1.首先在虚拟Linux上找到jar包 $HADOOP_HOME/share/hadoop/common/*.jar $HADOOP_HOME/share/hadoop/common/lib/*.jar $HADOOP_HOME/share/hadoop/hdfs/*.jar $HADOOP_HO...
调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能
menghuannvxia的专栏
03-26 8136
（1）添加必要的hadoop jar包。 A、首先将Hadoop1.1.2.tar.gz解压到某一个磁盘下。 B、右键选择工程，选择build path....， build configure path； C、将hadoop1.1.2文件夹下的jar包添加进去； 还有lib文件夹下的所有jar包（注意：jasper-compiler-5.5.12.jar和ja
HDFS Client UnknownHostException: NAMESERVICE
独行的卡卡的博客
01-16 3911
问题现象 HDFS Client抛出如下异常： java.net.UnknownHostException: NAMESERVICE at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374) at org.apache.hadoop.hdfs.NameNodeProxi
hadoop namenode无法启动，提示 java.net.unknownhostexception 的解决方法
天灵狐的小岛
10-14 4385
本方法用来解决hadoop无法启动namenode节点，初始化namenode时提示shutdown_msg shutting down namenode at java.net.unknownhostexception的情况。 如果配置文件没问题的话，那就是hostname的问题。 确保hostname跟配置文件对应。 修改vim /etc/sysconfig/network文件，
使用hdfs 的 Java API创建目录显示java.net.UnknownHostException:解决方法
danyWui的博客
07-07 721
解决方法： 我把core-site.xml和hdfs-site.xml文件放到工程下，然后new Configuration的时候会自动找到工程下的hdfs-site.xml读取，然而这个hdfs-site.xml中的node01，node02，程序不知道是什么东西，最后把hdfs-site.xml和core-site.xml中的node01 ，node02，node03，node04改为IP地址就解决了问题，不需要把集群端的core-site.xml和hdfs-site.xml文件改动，只改导入工程的co
hadoop格式化HDFS报错java.net.UnknownHostException
赫家旺的博客
04-10 1499
报错信息：   host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error  在执行hadoop namenode -format命令时，出现未知的主机名。     问题原因：     出现这种问题的原因是Hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名与/etc/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值