pyspark.sql.utils.IllegalArgumentException: ‘java.net.UnknownHostException: cdhmaster‘

最新推荐文章于 2025-10-20 14:57:21 发布

原创

最新推荐文章于 2025-10-20 14:57:21 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #spark #host

本文详细描述了在Spark 2.4.2环境中遇到'java.net.UnknownHostException: cdhmaster'错误，通过修改Windows hosts文件并提供解决步骤，同时介绍了hosts文件的作用和不同系统中的位置。

@创建于：2022.06.16
@修改于：2022.06.16

1 问题描述

基于本地pc机器安装的Spark2.4.2，采用本地模式，读取远程服务器的hive数据。

报出如下错误：
pyspark.sql.utils.IllegalArgumentException: ‘java.net.UnknownHostException: cdhmaster’

Traceback (most recent call last):
  File "D:/programs/Anaconda_program/tsp_spark/main.py", line 32, in <module>
    get_data3()
  File "D:\programs\Anaconda_program\tsp_spark\src\data_preprocess.py", line 85, in get_data3
    df.show()
  File "C:\ProgramData\Anaconda3\envs\spark242\lib\site-packages\pyspark\sql\dataframe.py", line 378, in show
    print(self._jdf.showString(n, 20