spark java.lang.IllegalStateException: unread block data

最新推荐文章于 2023-06-17 15:15:24 发布
最新推荐文章于 2023-06-17 15:15:24 发布
阅读量3.2k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： java eclipse 文章标签： spark eclipse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hsuan816/article/details/60326522
本文分享了使用Spark过程中遇到的Jar包版本冲突问题及解决方法。作者最初误以为是内存问题，经过排查发现是由于先前在Eclipse中导入的其他Jar包与Spark所需Jar包存在冲突导致的。最终通过移除原有Jar包并一次性导入所有必需的Spark Jar包解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前刚刚用spark，出现这个问题也是很头痛，一直以为是内存的问题，纠结了一整天也没解决。

后来才发现是因为导入的jar包版本不一致。
在用spark之前在eclipse上导入了其他的包，跟spark的包里有冲突，所以一直报错啊啊啊，后来把原来的包都remove掉了。
原来怕eclipse导入太多的包会承担不了，在用spark的时候提示需要哪个包，我才导进去，结果spark需要的包太多了，导完一个还有一个，后来导入一半的包了，还一直报错，耐心告罄！！！
一口气把所有包都导进去了，终于搞定了！
果然简单粗暴的方式是最好用的，泪！

给用spark的小伙伴们提个醒！

HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE
大模型与Agent智能体
06-14 3078
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE1，基于spark 2.3.0 直接进入spark sql 客户端，提示出错，找不到“com.mysql.jdbc.Driver”root@master:/usr/local/spark-2.3.0-bin-hadoop2.6/bin# spark-sql SLF4J: Class path ...
spark sql hbase java_Spark 之 Spark-SQL-HBASE Error java.lang.IllegalStateException: unread block dat...
weixin_35981628的博客
02-22 467
最近遇到这样一个业务场景：业务数据存储于 Hbase 中，并在 Hive 表中建立了 HBASE 映射表，已实现在 Hive 及 Impala 中可查，现想通过 Spark-SQL 进行查询，其中 Spark 集群基于 Yarn。在打通 Spark-SQL-HBASE 的过程中遇到了很多问题，大部分问题可直接通过错误日志定位到答案，但如标题所示的错误让人无迹可寻。错误日志如下：Driver sta...
Spark整合Hbase遇到"java.lang.IllegalStateException: unread block data"错误
gorocks的博客
02-24 8425
问题描述： spark程序读取hbase数据库，standalone模式提交后出现如下错误，异常栈如下： 2018-02-24 10:05:32,012 INFO [dag-scheduler-event-loop] scheduler.DAGScheduler: ResultStage 0 (count at HbaseApiDemo.scala:22) failed in 1.099...
java.lang.IllegalStateException: unread block data
未来在这儿的专栏
02-01 2089
Spark 通过HIVE ON HBASE表读取数据源，报错：unread block data
解决：Spark-HBASE Error Caused by: java.lang.IllegalStateException: unread block data
jxj21的博客
05-09 5716
参考：1 http://stackoverflow.com/questions/31701273/setting-spark-classpaths-on-ec2-spark-driver-extraclasspath-and-spark-executor 参考：2 http://stackoverflow.com/questions/34901331/spark-hbase-error-java
IDEA远程运行Spark，解决unread block data和ClassNotFoundException
武松打喵呜的笔记本
11-18 2561
被这两个问题纠缠了两天，查了各种资料，快气疯了 1.解决java.lang.IllegalStateException: unread block data 项目本身是使用Spark连接Hbase，现在写到进行一个简单的Get获取Hbase中'Watch'表的内容，连接Hbase和put/get之类都是很简单的问题。进行完各种依赖添加、xml编写、maven更新后，使用如下配置 val ...
spark 核心架包
03-19
解决java.lang.IllegalStateException: unread block data的架包
unread block data
宝宝
03-31 9347
<br />     我晕，这个错误折腾了三天，一气之下还原了之前的文件，终于没这个异常了。我推测的原因：因为之前有一些in.readInt(),我以为没用，就给删除了，造成解析的时候读指针无法进行正确地移动，返回的数据异常。
hive on spark读数据报错unread block data
u012084904的博客
06-17 493
如果你碰到这个报错，你要小心你的udf函数jar包中是否还有slf4j-api这个jar包，将其排掉，贼坑爹。
Spark和hbase集成遇到的一些问题
things_use的博客
10-18 1074
1.Spark计算都转移到了一个节点上，即只有一个节点在计算。      搭建好的spark集群，进行计算的时候发现，所有的slave节点上的task生成后，快速退出，并且生成好多task。查看spark ui上发现，只有主节点上有正常task运行，其他的slave节点都没有分到相应的task。如下所示： 主要是找到错误日志，主节点上的work目录下没有错误输出，然后找到slave节点下的wo...
Database: Caused by: java.lang.IllegalStateException
你好，开发者
10-27 1335
Caused by: java.lang.IllegalStateException: Couldn't read row 0, col -1 from CursorWindow.   Make sure the Cursor is initialized correctly before accessing data from it. 传入的键在数据库表中实际上不存在 解决方案： 一般问题...
第6.1.2章 hive on spark问题汇总
warrah 南极狼
04-17 6394
将使用过程中遇到的问题，汇总下来以免1个月之后就忘了。程序人生是短暂，新人总会将前人拍倒再沙滩上，只能默默转型，将技术慢慢的移交给年轻人，不从正面竞争，才能保证自己立足之地的稳固。 1 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to crea...
Java序列化【草案三】2
07-07 1104
iv.ObjectInputStream源码分析 　　上文解析了ObjectOutputStream类的代码，对于ObjectInputStream的解析本文不会像ObjectOutputStream类中的方法这样详细解析，因为ObjectInputStream类里面的大部分方法以及接口刚好是和ObjectOutputStream类中的方法对应，本文只提供一些比较特殊的代码解析，至于Object
HBase安装及读写
刘洋_heaven的博客
01-07 421
摘要 本文介绍HBase在CentOS下的安装部署，以及基于Scala语言在Spark上读写HBase的简单实例。 1.HBase简介 Hbase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。Hbase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。 那么关系型数据库...
java.lang.IllegalStateException异常以及解决
热门推荐
qq_43633916的博客
07-20 21万+
今天运行项目时出现的这个问题，java.lang.IllegalStateExceptio，第一次见到这个异常， 查询后 错误原因：该异常表示，当前对客户端的响应已经结束，不能在响应已经结束（或说消亡）后再向 客户端（实际上是缓冲区）输出任何内容。 具体分析：首先解释下flush()，我们知道在使用读写流的时候数据先被读入内存这个缓冲区中， 然后再写入文件，但是当数据读完时不代表数据已经写入文件完...
Spark报错java.lang.IllegalStateException: User did not initialize spark context!
IT_tan的博客
07-09 2866
在这里插入图片描述 spark-submit报错java.lang.IllegalStateException: User did not initialize spark context! 解决：将这段代码去掉
4.1 UiPathExcel之读取操作二
javagril的专栏
11-19 2511
读取范围 控件介绍 Read Range: 使用Read Range控件，读取Excel某个范围的内容 常用属性介绍: Input: Range: 需要读取的范围. 如果未设值，将会读取整个表格. 如果将范围指定为某个单元格，则读取从该单元格开始的整个表格，如果用冒号分隔，则读取指定范围 SheetName: 需要读取的工作簿名称 WorkbookPath: 需要读取的Excel文件路径 Mis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值