FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal ''hdfs://192.168.0.131:9000/hiv

本文介绍了一个Hive加载HDFS数据时遇到的路径非法错误,并给出了正确的解决方法。通过将IP地址替换为别名,成功解决了问题。
hive load from hdfs出错
时间 2013-07-03 16:03:13  优快云博客
原文  http://blog.youkuaiyun.com/p_3er/article/details/9234665
主题 HDFS Hive
使用hive load从hdfs中load data的时候,hiveql如下:


load data inpath 'hdfs://192.168.0.131:9000/hive/test.log'
overwrite into table test_log
partition(dt="20130703");


出错:
FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal ''hdfs://192.168.0.131:9000/hive/test.log'': Move from: hdfs://192.168.0.131:9000/hive/test.log to: hdfs://namenode:9000/home/hadoop/hive/warehouse/test_log/dt=20130703 is not valid. Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict.


查找度娘、谷哥没找到相应的解决方案。后来回头一想,之前在做hbase的一些操作的时候,直接使用ip也不行,转换成别名即可。
load data inpath 'hdfs://namenode:9000/hive/test.log'
overwrite into table test_log
partition(dt="20130703");


尝试之下,再次测试,成功执行。
在 Hadoop 生态系统中,当遇到类似 `File does not exist` 的错误时,通常表示指定的 HDFS 路径不存在或访问路径时出现了权限问题。对于给定的 HDFS URI `hdfs://192.168.131.131:9000/characters.txt`,可以按照以下方式检查和解决路径访问问题: ### 检查 HDFS 路径是否存在 可以通过命令行工具 `hadoop fs` 来验证目标路径是否存在: ```bash hadoop fs -ls hdfs://192.168.131.131:9000/ ``` 如果该路径下没有列出 `characters.txt` 文件,则说明文件确实不存在于 HDFS 中。 ### 解决 HDFS 文件访问问题 #### 1. 确认 HDFS 服务状态 确保 NameNode 和 DataNode 都处于运行状态。可以通过访问 NameNode 的 Web UI(通常是 `http://192.168.131.131:50070`)来查看集群的状态和健康状况[^2]。 #### 2. 检查文件上传过程 如果文件应该存在但未被找到,请检查文件上传到 HDFS 的过程是否完整执行。例如,使用如下命令将本地文件上传到 HDFS: ```bash hadoop fs -put /local/path/to/characters.txt hdfs://192.168.131.131:9000/ ``` 确认命令是否成功执行,并且没有中断或报错。 #### 3. 检查 HDFS 目录权限 HDFS 有类似于 Linux 文件系统的权限模型。可以使用以下命令检查目录权限: ```bash hadoop fs -ls hdfs://192.168.131.131:9000/ ``` 如果当前用户没有权限访问该路径,可以更改文件或目录的所有者或权限: ```bash # 更改文件所有者 hadoop fs -chown user:group hdfs://192.168.131.131:9000/characters.txt # 更改文件权限 hadoop fs -chmod 755 hdfs://192.168.131.131:9000/characters.txt ``` #### 4. 检查 Spark 或其他应用配置 如果是通过 Spark 提交作业时出现此问题,请检查 Spark 应用程序代码中的路径是否正确,并确保提交作业时相关资源文件已正确上传到 HDFS。此外,也可以参考 Spark Web UI(如 `http://master-ip:4040`)以获取更多关于失败任务的信息。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值