【大数据Hive】hive 事务表使用详解

目录

一、前言

二、Hive事务背景知识

hive事务实现原理

hive事务原理之 —— delta文件夹命名格式

_orc_acid_version 说明

bucket_00000

合并器(Compactor)

二、Hive事务使用限制

参数设置

客户端参数设置

客户端参数设置

三、Hive事务使用操作演示

操作步骤

客户端设置参数

创建一张事务表

插入几条数据

删除一条数据

针对事务表的增删改查操作演示

创建事务表

插入一条数据

修改数据

删除数据

---

一、前言

使用过mysql的同学对mysql的事务这个概念应该不陌生，当对mysql的表进行增删改的时候，mysql会开启一个事务，以确保本次操作的数据的安全性，在hive3.0之后，hive也开始支持了事务，以满足一些增删改的业务场景，接下来将对hive的事务操作做详细的说明。

二、Hive事务背景知识

Hive设计之初时，是不支持事务的，原因：

• Hive的核心目标是将已经存在的结构化数据文件映射成为表，然后提供基于表的SQL分析处理，是一款面向历史、面向分析的工具；
• Hive作为数据仓库，是分析数据规律的，而不是创造数据规律的；
• Hive中表的数据存储于HDFS上，而HDFS是不支持随机修改文件数据的，其常见的模型是一次写入，多次读取；

从Hive0.14版本开始，具有ACID语义的事务（支持INSERT，UPDATE和DELETE）已添加到Hive中，以解决以下场景下遇到的问题：

1）流式传输数据

使用如Apache Flume或Apache Kafka之类的工具将数据流式传输到现有分区中，可能会有脏读（开始查询后能看到写入的数据）