SparkSql报错：metastore.ObjectStore: Version information found in metastore differs 2.3.0 from expected

最新推荐文章于 2023-05-28 15:42:47 发布
原创 最新推荐文章于 2023-05-28 15:42:47 发布 · 4.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决Spark操作Spark SQL时报错版本信息不符的问题。通过在hive-site.xml文件中配置hive.metastore.uris参数，可以解决因版本不一致导致的操作失败问题。

Spark操作sparkSql报错：metastore.ObjectStore: Version information found in metastore differs 2.3.0 from expected schema version 1.2.0. Schema verififcation is disabled hive.metastore.schema.verification so setting version.

解决方案：需要在hive-site.xml中配置hive.metastore.uris。如下：


然后重启spark-shell即可。

spark-shell报错：Version information found in metastore differs 2.3.0 from expected schema version1.2.0
qq_39954916的博客
10-01 814
在spark-shell执行如下语句时候 scala> spark.sql("show tables").show 报错： Version information found in metastore differs 2.3.0 from expected schema version 1.2.0. Schema verififcation is disabled hive.metastore.schema.verification so setting version. 需要在hiv.
spark读hive没有权限异常Permission denied
lyd882的博客
03-08 2851
sparkSQL读取hive库或表时提示没有权限异常 spark@h1:~$ spark-shell 20/03/08 13:29:35 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setti...
ERROR metastore.ObjectStore: Version information found in metastore differs 3.1.2 from expected sche
yang灬仔
11-03 1858
ERROR metastore.ObjectStore: Version information found in metastore differs 3.1.2 from expected schema version 1.2.0. Schema verififcation is disabled hive.metastore.schema.verification so setting version. 解决方案两种第一种： 登陆mysql，修改hive metastore版本： 进行mysq
Spark常见问题汇总
得克特
11-05 632
1.启动Spark会有：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set，这里是上述的两个用来节省上传jars到hdfs的选项都没有设置，会执行本地上传。请看 问题及解决 2.执行Spark.sql出现Truncated the string representation of a plan since ...
记一次kettle6升级kettle8引发的内存溢出
大大头
11-12 2168
起因 基于一些原因，需要将kettle6.1升级到新版的kettle8.2。升级后发现kettle8每隔几天出现 GC overhead limit exceeded 或者 OutOfMemoryError：Java heap space； 一开始猜测kettle8为了提高性能，而牺牲更多的堆内存，便从开始的Xmx2048m 增加到 Xmx4096m. 可是没过几天还是一样出现问题，又从4096m...
hive启动MetaStore报错解决方案
秋雨ヾ的博客
07-07 4856
安装apache-hive-3.1.1时启动hive时出现的错误 第一条错误 原因：HIVEHOME/lib目录下没有找到mysql−connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql−connector−java−5.1.27−bin.jar下载放到{HIVE_HOME}/lib目录下没有找到mysql-connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql-connector-java-5.1.27-bin.jar下载放到HIVEH​OM
Datagrip连接数据库，报错：Server returns invalid timezone. Need to set ‘serverTimezone‘ property
Java Punk
11-18 4984
出现serverTimezone的情况，是因为安装MySQL的时候没有配置时区造成的。
Spark SQL 读取Hive数据报错:The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the C
muyingmiao的专栏
10-14 1004
将Hive的配置文件拷贝到Spark中后，启动spark-shell scala> spark.sql("show databases").show 报错如下 org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mys...
Spark SQL 报错总结
weixin_33798152的博客
05-21 2368
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.student ").show() 日志 Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hi...
修复RzBorder.pas Number of elements differs from declaration
01-06
RzBorder.pas Number of elements differs from declaration TRzLEDCharacters 在装完Raize控件之后编译老是出如下错误： [Pascal Error] RzBorder.pas(1429): E2072 Number of elements (125) differs from ...
hive metastore服务启动失败，连接服务失败、拒绝连接等
东城庞太师
09-14 6076
目录 问题描述：访问或者启动hive 服务时，失败！ 解决：hive.metastore.schema.verification 改为false 问题描述：访问或者启动hive 服务时，失败！ MetaException(message:Version information not found in metastore. ) 查看服务是否存在：ps -ef |grep HiveMetaStore 启动服务：hive --service metastore 解决：hive.metastor
matestore服务报错：MetaException(message:Version information not found in metastore.)
weixin_63682399的博客
05-28 2737
环境描述 操作系统：CentOS 7 Hadoop：Apache Hadoop 2.7.3 MySQL：5.7.29 Hive:3.1.2 MetaException(message:Version information not found in metastore.) 问题分析 从 message:Version information not found in metastore 这句报错上可以看出是 metastore 库里面没有找到 Version 相关的信息 启动metastore报错 Meta
解决Spark读取Hive的数据库，只能读取到default
weixin_46408961的博客
03-25 4648
​ 问题原因：按照网上的诸多博客等想使用Spark直接读取Hive，但不使用Hivejdbc的方式，在导入两个xml之后只能读取到default这个数据库，按照诸多网上的教程，修改xml还是未能起到作用(hive不能称为一个数据库，只是习惯了，下次一定改) 01.文件拷贝 ​ 上传core-site.xml,hive-site.xml到spark/conf目录下，core-site.xml在Hadoop种，hive-site.xml在hive中 (base) [root@192 conf]# ls -al
hive 部署需要注意的几点以及Version information not found 错误解决办法
热门推荐
树蛙PHPER
02-26 3万+
安装HIVE 过程中要注意 1，mysql 是否正常运行 2.   创建好mysql 用户并分配好相应的访问权限以及数据库端口号等 3.   mysql-connector-java-5.1.26-bin.jar  是否放到hive/lib 目录下 建议修改权限为777 （chmod 777 mysql-connector-java-5.1.26-bin.jar） 4. 修改conf/hi
Hive启动报错Caused by MetaException message Version information not found in metastore
NeverGiveup54的专栏
01-30 1万+
1问题错误： Caused by: MetaException(message:Versioninformation not found in metastore. ) 或 Caused by: javax.jdo.JDODataStoreException:Required table missing : "`VERSION`" in Catalog "" Schema"". DataNu
hive Version information not found 错误解决办法
笔尖的痕的专栏
07-22 3606
. 修改conf/hive-site.xml 中的 “hive.metastore.schema.verification”  值为 false  即可解决 “Caused by: MetaException(message:Version information not found in metastore. )”  5. 调试 模式命令  hive -hiveconf hive.ro
Hive 2.3.0 MetaException(message:Version information not found in metastore. )
大雄没有叮当猫的博客
08-27 3677
使用Hive 2.3.0 配置远程模式（Remote）时，执行hive --service metastore命令时出现MetaException(message:Version information not found in metastore. )错误。 解决办法： The necessary tables required for the metastore are missing i...
TypeError: __class__ assignment: 'MainViewSignalModel' object layout differs from 'MainViewSignalModel'
最新发布
05-09
<think>好的，我现在要解决用户遇到的TypeError，具体是关于__class__ assignment的问题，涉及MainViewSignalModel对象布局差异。首先，我需要理解这个错误的原因。根据Python的文档，当尝试修改一个实例的__class__属性时，如果新旧类的内存布局（比如实例变量的大小或顺序）不一致，就会抛出这个错误。用户可能是在运行时动态地改变了一个对象的类，但新旧类结构不兼容。 接下来，我需要考虑可能的解决方案。首先，用户可能需要检查MainViewSignalModel及其父类的定义，确保所有相关类都使用相同的__slots__或者没有使用__slots__，因为__slots__会固定实例变量的布局。如果新旧类中有一个使用了__slots__而另一个没有，就会导致布局不一致。 另外，动态改变类的__class__属性本身是一种高级技巧，可能带来不可预见的问题。因此，或许更安全的方式是创建一个新的实例，而不是修改现有实例的类。比如，可以创建一个新类的实例，并将原实例的属性复制过去。这虽然可能增加一些开销，但更稳定。 用户可能是在使用某些框架或库，比如PyQt或Django模型，这些框架可能会对类有特殊的要求，导致动态修改类出现问题。这时候，检查框架的文档或社区是否有相关建议也是必要的。 此外，还需要确认Python版本。不同版本的Python在对象布局和处理__class__赋值上可能有差异。如果用户使用的是较新的Python版本，可能有一些变化需要适应。 最后，如果用户确实需要动态修改类，可能需要使用其他方法，比如使用工厂模式或装饰器，而不是直接修改__class__属性。这样可以避免直接操作底层结构，减少出错的可能性。 总结下来，解决步骤可能包括：检查类的__slots__定义，确保新旧类结构一致；考虑创建新实例而非修改类；检查框架限制；确认Python版本兼容性；使用替代设计模式。同时，用户可能需要具体的代码示例来应用这些解决方案，因此提供示例代码会很有帮助。</think>针对Python中`__class__`赋值引发的`TypeError: __class__ assignment: &#39;MainViewSignalModel&#39; object layout differs`错误，以下是系统性解决方案： --- ### **问题根源分析** 当动态修改对象`__class__`属性时，若新旧类**内存布局不一致**（例如实例变量数量/顺序不同、`__slots__`定义冲突等），Python会抛出此错误[^1]。常见于： - 新旧类使用不同的`__slots__`约束 - 类继承结构发生变化（如新增/删除父类） - 类属性（非实例属性）定义不一致 --- ### **解决方案** #### 1. **强制统一内存布局** 若必须使用`__class__`动态修改，需确保**新旧类结构完全兼容**： ```python class OriginalClass: __slots__ = ["a", "b"] # 必须与目标类完全一致 def __init__(self): self.a = 1 self.b = 2 class TargetClass: __slots__ = ["a", "b"] # 槽位名称和顺序必须相同 def new_method(self): return self.a + self.b obj = OriginalClass() obj.__class__ = TargetClass # 允许操作 ``` #### 2. **替代动态类修改方案** 更安全的实现方式： - **工厂模式**创建新实例 ```python def convert_instance(orig_obj, target_cls): new_obj = target_cls.__new__(target_cls) new_obj.__dict__ = orig_obj.__dict__.copy() return new_obj ``` - **装饰器或Mixin类**实现行为扩展 ```python class NewFeaturesMixin: def added_method(self): return "Extended functionality" class DynamicClass(OriginalClass, NewFeaturesMixin): pass ``` #### 3. **框架适配技巧** 若涉及PyQt/Django等框架的类（如`MainViewSignalModel`疑似为Qt模型）： - **避免直接修改`__class__`**，改用`QObject.setParent()`或信号槽重构 - 对模型类使用`QAbstractItemModel.beginResetModel()`/`endResetModel()`重置数据布局 --- ### **调试建议** 1. 使用`inspect.getslots(old_class)`和`inspect.getslots(new_class)`检查槽位差异 2. 通过`obj.__dict__.keys()`对比实例属性集合 3. 使用`sys.getsizeof(obj)`观察内存占用变化 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值