Cannot read system catalog (sysindices).

并发导数与表锁冲突

最新推荐文章于 2024-02-28 22:03:44 发布

原创最新推荐文章于 2024-02-28 22:03:44 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据

hadoop 专栏收录该内容

5 篇文章

订阅专栏

在使用Hive导出数据到Informix时，尝试并发执行导致表锁冲突及系统目录读取错误。通过调整锁模式及在并发语句后添加延迟指令（sleep5），成功解决了并发导数过程中的报错问题。

场景：我将脚本计算后表A导出（从hive中导出到informix）到实例库的表中，改成并发执行（&）的时候，报错并锁表！
报错：step5.log:20/07/01 04:51:05 WARN tool.EvalSqlTool: SQL exception executing statement: java.sql.SQLException: Cannot read system catalog (sysindices)
报错：step5.log:Caused by: java.sql.SQLException: ISAM error: record is locked.

原因：锁和隔离级别用的不好的时候就会这样，需要先看下当前导出表的锁模式是P还是R，默认是P的，改成R；

解决：我测试过的结果是，在并发导数的语句行下面加上sleep 5就完美解决不报错，因为前一个清库有延迟，我估计是我们这边机器环境的问题；

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lics10

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

trino-435：dynamic catalog数据库存储代码实现

玉汝于成

01-06

1125

这两个类主要提供了对catalog的增删改查的方法。trino-435源码中WorkerDynamicCatalogManager类并没有实现CatalogManager接口，需要对该类进行修改实现CatalogManager接口并实现接口中的方法，完成worker节点对catalog增删改查功能。

MIT6.830-2022-lab2实验思路详细讲解

幸平的博客

12-14

2309

关于MIT6.830-2022-lab2的详细实验思路讲解

参与评论您还未登录，请先登录后发表或查看评论

使用客户端软件GBaseDataStudio连接的时候报Cannot read system catalog (sysusers).

Mike198611的博客

02-28

923

Cannot read system catalog (sysusers)

在Informix数据库中释放异常的锁资源

jalays的专栏

10-19

3385

Informix数据库释放异常的锁资源: 问题 　　在Informix数据库中，锁的使用和释放是自动完成的。但在某些异常情况下，当前台程序退出（正常或异常）后，相应在数据库中的会话没有终止，其占有的资源（主要是锁）没有被释放，影响了其他用户的使用。 　　这种情况可能出现在用户表或系统表中，一般都是由于产品的BUG或非常极端的情况引起的。 　　这时需要用手工的方式将有问题的会话终止，以释放其占有的资源，当然重新启动数据库自然就释放了所有的资源了，

GBase 8s SQL 指南：教程———11 对多用户环境编程

aisirea的博客

04-11

1647

本部分描述当您在多用户环境中工作时需要注意的几个编程问题。如果您的数据库包含在单个用户工作站中，且不访问来自另一计算机的数据。则您的程序可任意修改数据。在所有其他情况下，您必须考虑一种可能性，即，在您的程序正在修改数据时，另一程序正在读取或修改同一数据。将这种情况描述为并发：同一时刻对相同数据的两处或多处独立的使用。本部分讨论并发、锁定和隔离级别。本部分还描述语句高速缓存特性，它可减少每一会话的内存分配，并加速查询处理。语句高速缓存存储那些稍后在使用相同的SQL语句的不同的用户会话之中共享.

ISAM error: record is locked.

xjpanyan3的博客

02-16

2097

informix ：ISAM error: record is locked. ISAM错误：记录被锁定。索引顺序存取方法ISAM（ＩＮＤＥＸＤ　ＳＥＱＵＥＮＴＩＡＬ　ＡＣＣＥＳＳ　ＭＥＴＨＯＤ的缩写）是一种专为磁盘存取设计的索引顺序文件组织方式。主要原因就是数据库中的表被锁死了，可以执行： onstat -g sql 列出目前sql操作的列表 onstat -g sql...

db2 errorcode

zscomehuyue的专栏

02-14

1784

SQL ErrorCode & State参考手帳 2010-08-18 18:30 | (分类:コンピューター) 操作数据库流程中，遇到许多疑问，很多都与SQL CODE和SQL State有关，现在把一个完整的SQLCODE和SQLState不正确信息和有关解释作以下说明，一来可以自己参考，对DB2不正确自行找出原由（声明：这是搜集网上的资料得来的,细致出处不记得了） sqlcod...

数据湖技术之Iceberg-02 与Spark整合 DDL/DML 操作、快照查询与 Catalog 管理全解析

yangwei2048的博客

08-05

1318

本文介绍了Spark3.2.1与Iceberg0.13.2的整合方法。首先通过pom.xml添加Iceberg相关依赖，包括spark3和runtime组件。文章详细说明了两种Catalog配置方式：Hive Catalog将数据存储在Hive默认路径，需设置iceberg.engine.hive.enabled=true；Hadoop Catalog则需指定warehouse路径。代码示例展示了两种Catalog下的表操作（创建、插入、查询、删除），并验证了Hive中可查询Iceberg表数据。最后指出H

第23章新建连接字符串实例化EntityFrameworkCore中间件

zhoujian_911的专栏

01-25

2174

1 “System.InvalidOperationException: The ConnectionString property has not been initialized.”异常 1.1 异常产生原因：一般情况下启动项中存在appsettings.json文件，且该文件中持久化存储着指定数据库软件指定数据库的连接设定数据，当前程序启动时已经完成了EntityFrameworkCore中间件的实例化，所有不会产生上述异常。但是如果启动项中不存在appsettings.json文件，且

sqoop1.4.7之删除时事务异常

sunnyJam的专栏

08-14

630

当mysql的binlog_format=STATEMENT 是，sqoop执行以下删除语句异常： sqoop eval \ --connect 'jdbc:mysql://*:3306/yn_hadoop?useUnicode=true&characterEncoding=utf-8' \ --username ynhadoop \ --password * \ --query "delete from video_user_count_rank_day where t_date>='

Sqoop问题总结

qq_40417278的博客

12-25

826

运行sqoop连接sqlserver的命令碰到如下问题：问题：WARN tool.EvalSqlTool: SQL exception executing statement: com.microsoft.sqlserver.jdbc.SQLServerException: 用户 ‘sa’ 登录失败。 ClientConnectionId:4a96ee65-f785-40fd-9377-2ba0...

MySQL插入数据时报错Cause: java.sql.SQLException: #HY000

最新发布

11-11

`Could not write JSON: com.ruoyi.system.domain.L2250DcVaT cannot be cast to java.lang.String` 错误通常是在使用 Jackson 进行 JSON 序列化时，代码尝试将 `com.ruoyi.system.domain.L2250DcVaT` 类型的对象强制转换为 `java.lang.String` 类型，而这两种类型不兼容导致的。以下是一些可能的解决办法： ### 1. 检查数据类型确保在序列化之前，代码没有错误地尝试将 `com.ruoyi.system.domain.L2250DcVaT` 对象当作 `String` 处理。例如，在将对象添加到列表或其他数据结构时，要保证类型一致。 ```java import java.util.ArrayList; import java.util.List; // 假设这是 com.ruoyi.system.domain.L2250DcVaT 类 class L2250DcVaT { // 类的属性和方法 } public class Main { public static void main(String[] args) { List<Object> list = new ArrayList<>(); L2250DcVaT obj = new L2250DcVaT(); // 正确添加对象，不要错误地尝试转换 list.add(obj); } } ``` ### 2. 自定义序列化器如果确实需要将 `com.ruoyi.system.domain.L2250DcVaT` 对象序列化为 JSON 字符串，可以自定义 Jackson 序列化器。 ```java import com.fasterxml.jackson.core.JsonGenerator; import com.fasterxml.jackson.databind.JsonSerializer; import com.fasterxml.jackson.databind.SerializerProvider; import java.io.IOException; // 自定义序列化器 public class L2250DcVaTSerializer extends JsonSerializer<L2250DcVaT> { @Override public void serialize(L2250DcVaT value, JsonGenerator gen, SerializerProvider serializers) throws IOException { // 在这里定义如何将 L2250DcVaT 对象序列化为 JSON gen.writeString(value.toString()); // 示例：调用 toString 方法 } } ``` 然后在 `com.ruoyi.system.domain.L2250DcVaT` 类上使用 `@JsonSerialize` 注解指定自定义序列化器： ```java import com.fasterxml.jackson.databind.annotation.JsonSerialize; @JsonSerialize(using = L2250DcVaTSerializer.class) class L2250DcVaT { // 类的属性和方法 } ``` ### 3. 检查数据来源确保从数据源（如数据库、文件等）获取的数据类型正确。有时候，数据在传输或处理过程中可能会被错误地转换类型。 ### 4. 调试代码使用调试工具（如 IDE 的调试器）逐步执行代码，找出尝试进行类型转换的具体位置，然后进行修正。