pyspark 中 读取 hive 表，提示 hdfs 中的 nameservice 不识别

最新推荐文章于 2025-09-05 23:28:29 发布
原创 最新推荐文章于 2025-09-05 23:28:29 发布 · 3.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#big data #spark #python

在pyspark中尝试读取Hive表时遇到UnknownHostException，问题出现在jupyter环境中但本地运行正常。可能的原因包括core-site.xml的fs.defaultFS配置、HDFS的nn端口设置、hdfs-site.xml中的nameservice配置以及主机名映射缺失。检查和调试代码上下文以定位配置加载错误是解决此问题的关键。

前言

本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 Spark异常问题汇总

正文

问题描述

pyspark 中 读取hive表，提示 hdfs 中的 nameservice 不识别

Caused by: java.net.UnknownHostException: gbigdata

问题补充

本地 跑 是好的，但是 到 jupyter 上就有问题

环境

配置的 python 环境是 anaconda3

定位思路

  1. 查一下core-site.xml里的fs.defaultFS属性

在这里插入图片描述

  1. 查一下 nn 端口配置和移动转移的配置
  2. 查一下hdfs-site.xml里的nameservice
  3. 查一下host配置映射，可能主机地址没有映射
  4. 用代码调试的时候，查一下上下文，配置文件加载可能出错了
流式数据处理中的微服务架构：使用Kubernetes和ApacheFlink
AI天才研究院
07-16 3473
作者：禅与计算机程序设计艺术 随着业务数据的海量增长、各种新型设备、软件和互联网应用不断涌现，传统单机计算无法满足业务处理需求的同时，大数据平台的出现提供了一种更高效、更便捷的解决方案。如何在大数据平台上部署分布式、弹性的微服务架构，成为关键。本文将介绍基于Kubernetes和Apache Flink的微服务架构。 Apa
数据中台架构设计：基于大数据技术构建企业数据资产
最新发布
AI智能探索者的博客
09-24 872
随着企业数字化转型加速，数据已成为核心生产要素。传统数据存储方式导致数据孤岛、重复建设、价值转化低效等问题，数据中台作为解决企业数据治理和资产化的核心架构，通过整合全域数据、提供标准化数据服务，帮助企业实现数据价值的规模化释放。本文聚焦数据中台技术架构设计，覆盖从基础设施层到应用层的完整体系，结合大数据技术栈解析数据资产构建的关键技术和实施路径。本文采用分层架构方法论，从核心概念解析入手，逐步展开技术原理、算法实现、实战案例和应用场景。数据中台核心概念与架构分层数据采集、存储、处理的核心技术原理。
[解决]Spark运行中java.net.UnknownHostException: nameservice1的异常
热门推荐
Ganymede的Hadoop世界
10-13 1万+
解决Spark运行中java.net.UnknownHostException: nameservice1的异常，nameservice1是配置hdfs中用到的HA，在执行spark程序时出现 java.net.UnknownHostException: nameservice1异常，找到正确的路径。
USDP使用笔记（四）打通双集群HDFS实现跨nameservice访问
虎鲸不是鱼
03-11 1489
USDP打通双集群HDFS实现跨nameservice访问
在CM中修改HDFS的nameservice
CarbonDioxide12138的博客
03-18 3834
        在大数据平台中，hdfs的nameservice关系到很多方面，如果有配置错误的话，往往排查起来会非常非常的蛋疼，这时候就需要修改nameservice了，在CM中修改nameservice又不同于直接在配置文件里修改，需要进行的步骤有些许繁琐，这里稍微总结一下。1       停止除了zookeeper之外的所有服务2       在其中一台zookeeper server的服务...
SparkSQL读写备份还原后的表报错UnknownHostException: nameservice01
OMars的博客
07-14 778
问题背景 使用的是Ambari 2.7.3大数据平台，原本集群要开启namenode高可用，但是因为某些搞不定的原因重新安装了集群，针对Hive数据做了备份，然后在当前集群环境做了数据恢复。所有的数据通过Hive都可查询。但是有程序执行读写Hive数据的时候报错UnknownHostException: nameservice01，具体如下 Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: namese
Hive与Hudi集成：构建实时数据湖的最佳实践与踩坑记录
AI算力网络与通信的博客
09-05 1116
将Hive与Hudi集成，能够结合两者优势：利用Hudi的实时数据处理能力增强Hive的数据湖功能，同时借助Hive的SQL查询能力和元数据管理简化Hudi的使用复杂度。Apache Hive是建立在Hadoop之上的数据仓库工具，它提供了类似SQL的查询语言（HQL），允许用户查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。这种集成架构既保留了Hive强大的SQL查询能力和元数据管理功能，又增加了Hudi提供的实时数据处理能力，为构建企业级实时数据湖奠定了基础。
我在上述config.py中应该写入什么代码
05-03
- 启用Hive支持（如需访问Hive表） 4. **算法参数区**： - 集中管理KNN超参数 - 定义数据集存储路径（支持HDFS路径） ### 三、配置验证方法 在项目根目录创建`config_test.py`进行配置验证： ```python from ...
大数据架构设计：如何构建开放数据集成平台？
AI天才研究院
04-28 1331
随着企业数字化进程的深化，业务系统（如ERP、CRM、IoT传感器）、第三方数据（如行业报告、社交媒体）和非结构化数据（如日志、文档）的规模呈指数级增长。据Gartner统计，83%的企业存在3个以上独立运行的数据系统，但仅有12%的企业能高效整合这些数据。定义开放数据集成平台的技术边界与核心能力提供从需求分析到落地实施的全流程架构设计方法解决多源异构数据接入、实时/批量处理、数据质量保障等关键问题。
python调用spark和调用hive_python – Spark可以从pyspark访问Hive表,但不能从spark-submit访问...
weixin_35892779的博客
02-21 209
所以,当从pyspark运行时,我会输入(不指定任何上下文)：df_openings_latest = sqlContext.sql('select * from experian_int_openings_latest_orc')..它工作正常.但是,当我从spark-submit运行我的脚本时,就像spark-submit script.py我把以下内容放在from pyspark.sql i...
spark任务读取hdfs文件在hdfs HA模式时识别不了 UnknownHostExecption
weixin_42860281的博客
06-18 1643
spark任务读取hdfs文件在hdfs HA模式时识别不了 UnknownHostExecption ava.lang.IllegalArgumentException: java.net.UnknownHostException:ha at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.jav...
hadoop格式化(或者启动hadoop)的时候出现名称和服务不识别错误
binlixia的博客
08-16 1851
在第一次格式化hadoop的时候，可能会出现以下错误信息： 14/08/10 07:07:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  Stopping namenod
hdfs介绍
i am me，haha，么么哒。。。
04-07 1631
【使用QJM构建HDFS HA架构(2.2+)】     本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。   一、背景     HDFS集群中只有一个Namenode，这就会引入单点问题；即如果Namenode故障，那么这个集群将不可用，直到Namenode重启或者其他Namenode接入。     有两种方式会
CDH添加外部HDFS集群nameservice
iture的博客
10-12 1356
如CDH自带HDFS的nameservice为nameservice-dev，现在添加对外部HDFS集群nameservice-test的支持。 在配置项”hdfs-site.xml 的 HDFS 客户端高级配置代码段（安全阀）“中添加配置 <property> <name>dfs.nameservices</name> <value>nameservice-dev,nameservice-test</value> </pro
hdfs高可用命名空间
潇洒人生的博客
04-02 3160
高可用命名空间原理图 nn单节点时 访问hdfs 命令 hadoop fs -ls hdfs://hadoop001/ 但是高可用时 不可能改ip hadoop001，要做到无感切换时，需要命名空间来操作，通过命名空间来寻找切换主节点，这个命名空间不是一个进程，通过 hdfs://nameservice1/ 访问hdfs文件这个过程他会去找core-site.xml,hdfs-site.xm...
HIVE配置错误信息
weixin_34245749的博客
08-15 178
原因：版本问题 解决方法：cp /root/hive/lib/当前的jlinexx.jar /root/hadoop/share/hadoop/yarn/lib
win10 本地调试hadoop 找不到主机名 主机名映射 Caused by: java.net.UnknownHostException: linux01
weixin_45592182的博客
05-07 1119
1 主机名IP映射 打开系统目录：c:/windows/system32/drivers/etc找到hosts文件， 打开hosts文件并在最后面添加一条记录 192.168.236.11 myname C:\Windows\System32\drivers\etc\hosts 192.168.1.170 master 192.168.1.171 slave1 192.168.1.172 slave2 192.168.1.173 slave3 先将文件hosts复制到桌面，再修改好，拖动到原位置替换即可，否
linux: 未知的名称或服务 Caused by: java.net.UnknownHostException: smn01: Name or service not known
liuhehe的博客
11-18 6031
 报错问题： Caused by: java.net.UnknownHostException: smn01: Name or service not known         at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method)         at java.net.InetAddress$2.lookupAllHostA...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值