Hive Transaction

最新推荐文章于 2025-01-30 00:50:41 发布

爱知菜

最新推荐文章于 2025-01-30 00:50:41 发布

阅读量852

点赞数

分类专栏： Hadoop/Spark/Hive

Hadoop/Spark/Hive 专栏收录该内容

72 篇文章

订阅专栏

本文介绍了Hive从0.13版本开始引入的事务支持功能，并详细解释了如何通过配置hive-site.xml来启用Hive的ACID特性。此外，还提到了在Hive中使用ACID特性的几个限制条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://www.aboutyun.com/thread-21615-1-1.html

好文章

Hive从0.13开始加入了事务支持，在行级别提供完整的ACID特性，Hive在0.14时加入了对INSERT...VALUES,UPDATE,and DELETE的支持。对于在Hive中使用ACID和Transactions，主要有以下限制：

不支持BEGIN,COMMIT和ROLLBACK
只支持ORC文件格式
表必须分桶
不允许从一个非ACID连接写入/读取ACID表

为了使Hive支持事务操作，需将以下参数加入到hive-site.xml文件中。

<property>

<name>hive.support.concurrency</name>

<value>true</value>

</property>

<property>

<name>hive.enforce.bucketing</name>

<value>true</value>

</property>

<property>

<name>hive.exec.dynamic.partition.mode</name>

<value>nonstrict</value>

</property>

<property>

<name>hive.txn.manager</name>

<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>

</property>

<property>

<name>hive.compactor.initiator.on</name>

<value>true</value>

</property>

<property>

<name>hive.compactor.worker.threads </name>

<value>1</value>

</property>

当hive.support.concurrency=True,就会共享锁和排它锁出现干预查询

hive未配置Transaction和ACID，不支持delete和update操作

create table test_trancaction
(user_id Int,name String)
clustered by (user_id) into 3 buckets stored as orc TBLPROPERTIES ('transactional'='true');