hive命令出现问题Failed with exception Java.io.IOException:java.lang.IllegalArgumentException: java.NET.UR

针对Hive命令中出现的java.NET.URISyntaxException异常,本文详细介绍了问题产生的原因及解决步骤。通过调整hive-site.xml配置文件中的hive.exec.local.scratchdir属性,可以有效避免此异常。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

hive命令出现问题Failed with exception Java.io.IOException:java.lang.IllegalArgumentException: java.NET.URI

标签: hive
  321人阅读  评论(0)  收藏  举报
  分类:
 

一,问题描述: 
   登录到hive数据仓库后,输入一些命令,例如(show databases ,show tables),会报出如下错误:

Failed with exception Java.io.IOException:java.lang.IllegalArgumentException: java.NET.URISyntaxException: Relative path in absolute URI: ${system:user.name}



   
  • 1
  • 2
  • 3
  • 4

二,解决的方法如下: 
1,进入apache-hive-2.1.1-bin文件夹下的conf文件下,找到hive-site.xml,具体步骤:

 apache-hive-2.1.1-bin -> conf -> hive-site.xml

 然后找到如下属性:

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/lch/software/Hive/apache-hive-2.1.1-bin/tmp/${system:user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
   
  • 1
  • 2
  • 3
  • 4
  • 5

把它修改成如下:

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/lch/software/Hive/apache-hive-2.1.1-bin/tmp/${user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
   
  • 1
  • 2
  • 3
  • 4
  • 5

三,问题解决,再运行hive命令就不会出现上述的问题了.

### DataX 中因 `java.net.UnknownHostException` 导致的 `IllegalArgumentException` 问题解决方案 #### 问题分析 在使用 DataX 进行数据同步时,如果遇到 `java.lang.IllegalArgumentException: java.net.UnknownHostException: hacluster` 的错误,通常是因为目标地址解析失败引起的。这可能涉及以下几个方面的原因: 1. 配置文件中的主机名未正确映射到实际 IP 地址。 2. HDFS 或 Hive 的高可用(HA)配置存在问题,导致无法识别集群名称。 3. 数据库连接字符串或 ES 等外部服务的身份验证设置不匹配。 针对上述情况,以下是具体的排查和解决方法[^1]。 --- #### 解决方案 ##### 1. 检查 `/etc/hosts` 文件 确认本地系统的 `/etc/hosts` 文件中是否已正确定义了 `hacluster` 对应的 IP 地址。如果没有定义,则需要手动添加如下内容: ```plaintext <IP_ADDRESS> hacluster ``` 其中 `<IP_ADDRESS>` 是对应服务器的实际 IP 地址。此操作可以确保主机名能够被正确解析[^2]。 ##### 2. 核实 HDFS 和 YARN 的 HA 配置 如果是由于 HDFS 的高可用配置引起的问题,需检查核心站点配置文件 `core-site.xml` 和 `hdfs-site.xml` 是否存在以下条目: - **`fs.defaultFS`**: 定义默认文件系统 URI,例如 `hdfs://nameservice1`。 - **`dfs.nameservices`**: 明确指定 NameNode 的逻辑名称,如 `nameservice1`。 - **`dfs.ha.namenodes.nameservice1`**: 列举所有参与 HA 的 NameNode 实例。 如果发现配置项缺失或者命名空间有误,请按照官方文档调整并重启相关服务。 ##### 3. 修改 DataX 插件代码 对于某些特定场景下发生的预认证冲突(如 ElasticsearchWriter),可以通过修改插件源码来规避该类异常。具体做法是在 `com.alibaba.datax.plugin.writer.elasticsearchwriter.ESClient` 类中注释掉 `.setPreemptiveAuth(new HttpHost(endpoint))` 方法调用部分[^3]。完成更改后重新编译打包再部署至生产环境测试效果如何。 ##### 4. 调整网络 DNS 设置 当依赖于域名而非静态 IP 访问资源时,务必保证当前机器上的 DNS Server 可正常工作,并能成功反向查询到所需的服务节点信息。可通过命令行工具 ping 测试连通性和延迟状况;必要情况下切换成更稳定的公共 DNS 提供商比如 Google Public DNS (8.8.8.8 & 8.8.4.4) 来提升稳定性。 --- #### 示例代码片段 下面提供一段简单的 Python 脚本用于检测给定 hostname 是否可访问以及其对应的 ip address: ```python import socket def check_host_reachable(hostname): try: ip_address = socket.gethostbyname(hostname) print(f"The host {hostname} is reachable with IP Address {ip_address}.") return True except socket.gaierror as e: print(f"Failed to resolve the hostname {hostname}: {e}") return False if __name__ == "__main__": target_hostname = "hacluster" result = check_host_reachable(target_hostname) ``` 运行以上脚本可以帮助快速定位是否存在基础层面的名字解析障碍。 --- #### 总结 通过仔细审查 hosts 文件、Hadoop 关键参数设定、DataX 自身组件实现细节还有整体网络架构设计四个方面入手,基本可以有效应对由 `java.net.UnknownHostException` 所引发的各种复杂情形下的非法参数传递现象。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值