【已解决】idea连接hive3.1.2读取数据报错

已于 2023-04-01 16:23:11 修改
阅读量466 收藏 1
点赞数 3
分类专栏： 大数据 Hive spark 文章标签： hadoop 大数据 分布式
于 2023-04-01 16:21:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_65077254/article/details/129898842
版权
在使用Spark3.1.1版本从Hive3.1.2获取数据时，遇到HadoopDFSClient的连接超时错误。问题可能与网络连接、配置或资源限制有关。代码示例中尝试设置`dfs.client.use.datanode.hostname`为`true`来使用域名访问，但仍然出现错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境

hive3.1.2

hadoop3.1.3

saprk3.1.1

报错

26748 [Executor task launch worker for task 0.0 in stage 0.0 (TID 0)] WARN  org.apache.hadoop.hdfs.client.impl.BlockReaderFactory  - I/O error constructing remote block reader.
java.net.ConnectException: Connection timed out: no further information
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
    at org.apache.hadoop.hdfs.DFSClient.newConnectedPeer(DFSClient.java:2939)
    at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.nextTcpPeer(BlockReaderFactory.java:821)
    at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.getRemoteBlockReaderFromTcp(BlockReaderFactory.java:746)
    at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.build(BlockReaderFactory.java:379)
    at org.apache.hadoop.hdfs.DFSInputStream.getBlockReader(DFSInputStream.java:644)
    at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:575)
    at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:757)
    at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:829)
    at java.io.DataInputStream.read(DataInputStream.java:149)
    at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.fillBuffer(UncompressedSplitLineReader.java:62)
    at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:218)
    at org.apache.hadoop.util.LineReader.readLine(LineReader.java:176)
    at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.readLine(UncompressedSplitLineReader.java:94)
    at org.apache.hadoop.mapred.LineRecordReader.skipUtfByteOrderMark(LineRecordReader.java:215)
    at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:253)
    at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:48)
    at org.apache.spark.rdd.HadoopRDD$$anon$1.getNext(HadoopRDD.scala:312)
    at org.apache.spark.rdd.HadoopRDD$$anon$1.getNext(HadoopRDD.scala:243)
    at org.apache.spark.util.NextIterator.hasNext(NextIterator.scala:73)
    at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anon$1.hasNext(WholeStageCodegenExec.scala:755)
    at org.apache.spark.sql.execution.SparkPlan.$anonfun$getByteArrayRdd$1(SparkPlan.scala:345)
    at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2(RDD.scala:898)
    at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2$adapted(RDD.scala:898)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:373)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:337)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
    at org.apache.spark.scheduler.Task.run(Task.scala:131)
    at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$3(Executor.scala:497)
    at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1439)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:500)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
26751 [Executor task launch worker for task 0.0 in stage 0.0 (TID 0)] WARN  org.apache.hadoop.hdfs.DFSClient  - Failed to connect to /192.168.3.55:9866 for file /user/hive/warehouse/ods.db/student/student.txt for block BP-24793988-192.168.3.55-1663646169451:blk_1073742303_1479, add to deadNodes and continue. 
java.net.ConnectException: Connection timed out: no further information
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
    at org.apache.hadoop.hdfs.DFSClient.newConnectedPeer(DFSClient.java:2939)
    at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.nextTcpPeer(BlockReaderFactory.java:821)
    at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.getRemoteBlockReaderFromTcp(BlockReaderFactory.java:746)
    at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.build(BlockReaderFactory.java:379)
    at org.apache.hadoop.hdfs.DFSInputStream.getBlockReader(DFSInputStream.java:644)
    at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:575)
    at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:757)
    at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:829)
    at java.io.DataInputStream.read(DataInputStream.java:149)
    at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.fillBuffer(UncompressedSplitLineReader.java:62)
    at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:218)
    at org.apache.hadoop.util.LineReader.readLine(LineReader.java:176)
    at org.apache.hadoop.mapreduce.lib.input.UncompressedSplitLineReader.readLine(UncompressedSplitLineReader.java:94)
    at org.apache.hadoop.mapred.LineRecordReader.skipUtfByteOrderMark(LineRecordReader.java:215)
    at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:253)
    at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:48)
    at org.apache.spark.rdd.HadoopRDD$$anon$1.getNext(HadoopRDD.scala:312)
    at org.apache.spark.rdd.HadoopRDD$$anon$1.getNext(HadoopRDD.scala:243)
    at org.apache.spark.util.NextIterator.hasNext(NextIterator.scala:73)
    at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anon$1.hasNext(WholeStageCodegenExec.scala:755)
    at org.apache.spark.sql.execution.SparkPlan.$anonfun$getByteArrayRdd$1(SparkPlan.scala:345)
    at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2(RDD.scala:898)
    at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2$adapted(RDD.scala:898)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:373)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:337)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
    at org.apache.spark.scheduler.Task.run(Task.scala:131)
    at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$3(Executor.scala:497)
    at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1439)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:500)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
 

完整代码

package Four

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object ConHiveSql {
  def main(args: Array[String]): Unit = {
    val con=new SparkConf().setMaster("local[*]").setAppName("con").set("spark.testing.memory","2147480000")
    System.setProperty("HADOOP_USER_NAME","root")
    val conh=SparkSession.builder()
      .config("hive.metastore.uris","thrift://192.168.23.60:9083")
      .config("spark.sql.warehouse","hdfs://192.168.23.60:9000//user/hive/warehouse/")
      .config("dfs.client.use.datanode.hostname", "true")//将默认的IP访问改为域名访问的形式
      .config(con)
//    configuration.set("dfs.client.use.datanode.hostname", "true")
      .enableHiveSupport().getOrCreate()
//    conh.sql("use ods").show()

    conh.sql("select * from ods.student").show()
  }
}

 

将默认的IP访问改为域名访问的形式

(27条消息) 使用idea, sparksql读取hive中的数据_idea spark读取hive数据_xiaolin_xinji的博客-优快云博客

【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
欢迎来到我的博客，一起探索代码里的世界！
01-09 1374
【代码】【Apache Paimon】-- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践。
大数据领域数据挖掘的技术融合
AI天才研究院
04-21 1372
随着物联网（IoT）、5G与人工智能的普及，全球数据总量已从TB级跃升至ZB级（IDC预测2025年全球数据量将达175ZB）。传统数据挖掘技术（如基于单机的决策树、K-means聚类）在处理海量、高速、多源异构数据时，面临计算瓶颈（如内存限制、单节点算力不足）、实时性缺陷（如批处理延迟）与模型泛化能力弱（如无法处理非结构化数据）等问题。本文聚焦大数据技术与数据挖掘的深度融合海量数据的存储与并行计算多模态数据（文本、图像、图结构）的统一建模实时流数据的在线挖掘与决策。
IDEA下使用Spark连接Hive报错~2021-10-21
heyianliunian的博客
10-21 816
1.问题：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Admin, access=EXECUTE, inode="/tmp/hive":jinghang:supergroup:drwx------ Caused by: org.apache.hadoop.ipc.RemoteException(org.a
idea连接hive数据库运行代码时出现的问题
m0_75028327的博客
02-15 282
idea连接hive时重新打开一个页面运行启动 hiveserver2。插入数据报错（insert into)
Itellij idea 中HDFS API 访问HDFS报错：org.apache.hadoop.security.AccessControlException
weixin_37536020的博客
03-01 566
【代码】Itellij idea 中HDFS API 访问HDFS报错：org.apache.hadoop.security.AccessControlException Permission denied: user=Administrator, access=READ_EXECUTE,
Idea 的Big Data Tools连接Hdfs Unable to load native-hadoop library问题解决 (Windows下)
luomo0203的博客
12-23 2749
一、 安装hadoop并配置环境变量 二、替换文件 下载对应版本的winutils bin文件目录替换hadoop文件夹下的bin目录， 特别是要放入hadoop.dll和winutils.exe文件， 并复制一份hadoop.dll放到C:\Windows\System32下。 链接: https://gitee.com/sujemson/winutils. ...
idea的big data tool 连接不上HDFS所有问题汇总：
YoYoYoWhatIsUp的博客
07-10 6891
idea用big data tool 连接HDFS所遇到的所有问题总结
数据库领域Hive的数据仓库建设实践
2502_91592937的博客
05-07 603
在当今数字化时代，企业和组织积累了海量的数据。这些数据蕴含着巨大的商业价值，但如何有效地存储、管理和分析这些数据成为了一个关键问题。数据仓库作为一种解决方案，能够将分散在各个系统中的数据进行整合，为企业的决策提供有力支持。Hive作为一种基于Hadoop的数据仓库工具，它提供了类似SQL的查询语言HiveQL，使得熟悉SQL的用户可以方便地对大规模数据进行查询和分析。本文的目的在于详细介绍如何使用Hive进行数据仓库的建设实践。
数据库领域Hive的数据导入导出方法汇总
2502_91592937的博客
04-29 686
在大数据时代，数据的处理和分析变得至关重要。Hive作为基于Hadoop的数据仓库基础设施，提供了类似于SQL的查询语言HQL，方便用户进行数据的存储和查询。然而，在实际应用中，我们常常需要将外部数据导入到Hive中进行分析，或者将Hive中的数据导出到其他系统进行进一步处理。本文的目的就是全面汇总Hive的数据导入导出方法，涵盖从常见的文本文件、CSV文件到其他数据库的数据导入，以及将Hive数据导出到文件系统、其他数据库等多种场景。
大数据领域OLAP：解决海量数据处理难题
最新发布
AI天才研究院
05-08 716
随着企业数字化转型加速，日均产生的数据量已从GB级跃升至PB级甚至EB级。传统关系型数据库在面对海量数据的复杂分析需求时，暴露出响应缓慢、维度扩展困难等问题。OLAP（Online Analytical Processing）作为大数据分析的核心技术，通过多维数据建模、预计算优化、分布式并行处理等手段，有效解决了海量数据的实时分析难题。本文聚焦OLAP技术在大数据场景下的核心挑战，系统阐述其架构设计、算法原理、优化策略及工程实践，覆盖从技术原理到行业应用的全链路知识体系。基础理论。
idea intellij 连接hadoopHDFS插件
12-21
自己编译的插件，可连接hdfs，在idea设置plugin里面选择从磁盘安装插件。
使用IDEA工具连接CDH集群里面的hive组件
12-19
IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用
Spark使用idea整合Hive无法从hdfs读取文件，报错信息为LOAD DATA input path does not exist: hdfs://解决办法
Quin22的博客
05-11 2336
Spark使用idea整合Hive无法从hdfs读取文件，报错信息为LOAD DATA input path does not exist: hdfs://解决办法
IDEA SparkSQL连接外部hive
weixin_42539131的博客
04-07 614
2、spark-local模式下可以访问到外部hive。3、问题：idea报错。
Hive：本地连接hive报java.net.ConnectException: Connection timed out: connect.
u013938578的博客
02-02 740
【代码】 Hive：本地连接hive报java.net.ConnectException: Connection timed out: connect.
IDEA本地Spark开发读取云主机Hive异常剖析
思亘七险，点落九宫，神游八极，纵横十方。
05-27 674
IDEA本地Spark操作云主机Hive异常剖析 1.问题背景 1.Hive是搭建在云主机上的伪分布式 ​ 公网 IP：47.101.xxx.xxx ​ 内网 IP：172.19.35.154 ​ 主机名：hadoop001 2.Spark开发在本地的IDEA开发 ​ 本地的的hive-site.xml配置如下： <?xml version="1.0"?> <?xml-style...
idea出现Error: connect timed out
qq_53876295的博客
05-13 4950
idea出现Error: connect timed out
idea 上搭建spring boot连接database mysql不能连接上java.net.ConnectException: Connection timed out: connect.
weixin_43982527的博客
05-29 2236
解决： 1 本地上传驱动 端口3306没有开 我的mysql 的端口没开 linux下mysql开启远程访问权限及防火墙开放3306端口 开启mysql的远程访问权限 默认mysql的用户是没有远程访问的权限的，因此当程序跟数据库不在同一台服务器上时，我们需要开启mysql的远程访问权限。 主流的有两种方法，改表法和授权法。 相对而言，改表法比较容易一点，个人也是比较倾向于使用这种方法，因此，这里只贴出改表法 1、登陆mysql mysql -u root -p 2、修..
IDEA连接HDFS
jiandanbuguo的博客
09-04 3407
首先新建maven项目，选择archetype选择quickstart 可以参照IDEA创建Maven项目 创建好的maven项目的pom.xml很冗长，只需保留如下部分即可 在内添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0&l
大数据之使用Spark增量抽取MySQL的数据到Hive数据库，在idea中编写，具体流程，从怎么创建项目开始
12-12
好的,我来为您介绍一下使用Spark增量抽取MySQL数据到Hive数据库的具体流程,从创建项目开始: 1. 创建项目: - 打开IntelliJ IDEA,选择"Create New Project" - 选择"Maven",点击"Next" - 输入GroupId和ArtifactId,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值