HIVE的事务管理

Hive 从版本 0.14 开始支持事务（ACID 特性），但这需要特定的配置和表结构。以下是关于 Hive 事务支持的全面说明。

1. Hive 事务的基本要求
配置要求
在 hive-site.xml 中必须启用以下配置：

xml
<!-- 启用并发支持 -->
<property>
    <name>hive.support.concurrency</name>
    <value>true</value>
</property>

<!-- 启用事务管理器 -->
<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>

<!-- 启用压缩器 -->
<property>
    <name>hive.compactor.initiator.on</name>
    <value>true</value>
</property>

<!-- 压缩工作线程数 -->
<property>
    <name>hive.compactor.worker.threads</name>
    <value>1</value>
</property>

<!-- 启用分桶 -->
<property>
    <name>hive.enforce.bucketing</name>
    <value>true</value>
</property>

<!-- 设置动态分区模式为非严格 -->
<property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
</property>

表结构要求
支持事务的表必须满足以下条件：
必须是分桶表（Bucketed Table）
必须使用 ORC 文件格式（推荐）
必须在表属性中设置 transactional=true

2. 创建支持事务的表
-- 创建支持事务的表
CREATE TABLE transactional_table (
    id INT,
    name STRING,
    value DOUBLE,
    operation_time TIMESTAMP
)
CLUSTERED BY (id) INTO 4 BUCKETS
STORED AS ORC
TBLPROPERTIES ('transactional'='true');

-- 创建支持事务的分区表
CREATE TABLE partitioned_transactional_table (
    id INT,
    name STRING,
    value DOUBLE
)
PARTITIONED BY (date STRING)
CLUSTERED BY (id) INTO 4 BUCKETS
STORED AS ORC
TBLPROPERTIES ('transactional'='true');

3. 事务操作示例
插入数据
-- 基本插入
INSERT INTO TABLE transactional_table
VALUES (1, 'John', 100.50, CURRENT_TIMESTAMP);

-- 插入多条数据
INSERT INTO TABLE transactional_table
VALUES 
(2, 'Jane', 200.75, CURRENT_TIMESTAMP),
(3, 'Bob', 150.25, CURRENT_TIMESTAMP);

-- 从查询结果插入
INSERT INTO TABLE transactional_table
SELECT id, name, salary, CURRENT_TIMESTAMP
FROM employees
WHERE department = 'IT';
--更新数据
-- 更新单条记录
UPDATE transactional_table
SET value = 120.75
WHERE id = 1;

-- 更新多条记录
UPDATE transactional_table
SET value = value * 1.1
WHERE name LIKE 'J%';

-- 使用子查询更新
UPDATE transactional_table t
SET t.value = (SELECT AVG(value) FROM transactional_table)
WHERE t.value < 100;

--删除数据
-- 删除单条记录
DELETE FROM transactional_table
WHERE id = 3;

-- 删除多条记录
DELETE FROM transactional_table
WHERE value < 100;

-- 使用子查询删除
DELETE FROM transactional_table
WHERE id IN (SELECT id FROM blacklist);
合并操作 (MERGE)
-- 合并数据（UPSERT操作）
MERGE INTO transactional_table AS target
USING updates_table AS source
ON target.id = source.id
WHEN MATCHED AND source.operation = 'update' THEN 
    UPDATE SET 
        target.name = source.name,
        target.value = source.value,
        target.operation_time = CURRENT_TIMESTAMP
WHEN MATCHED AND source.operation = 'delete' THEN 
    DELETE
WHEN NOT MATCHED THEN
    INSERT VALUES (source.id, source.name, source.value, CURRENT_TIMESTAMP);
4. 事务管理
开启和提交事务
-- Hive 默认是自动提交的，但可以手动控制
SET hive.auto.convert.join=false;
SET hive.auto.commit=true;

-- 开始事务（在某些版本中需要）
START TRANSACTION;

-- 执行一些操作
INSERT INTO transactional_table VALUES (4, 'Alice', 300.0, CURRENT_TIMESTAMP);
UPDATE transactional_table SET value = value * 1.05 WHERE id = 2;

-- 提交事务
COMMIT;

-- 回滚事务（注意：Hive 的回滚能力有限）
ROLLBACK;
查看事务状态
-- 显示当前打开的事务（需要管理员权限）
SHOW TRANSACTIONS;

-- 显示锁信息
SHOW LOCKS;
SHOW LOCKS transactional_table EXTENDED;
5. 压缩管理
Hive 使用压缩来合并事务产生的小文件，提高性能。
-- 手动触发小压缩（Minor Compaction）
ALTER TABLE transactional_table COMPACT 'minor';

-- 手动触发大压缩（Major Compaction）
ALTER TABLE transactional_table COMPACT 'major';

-- 压缩并等待完成
ALTER TABLE transactional_table COMPACT 'major' AND WAIT;

-- 查看压缩历史
SHOW COMPACTIONS;
6. 事务隔离级别
Hive 支持以下隔离级别：
-- 设置隔离级别为读已提交（默认）
SET hive.txn.isolation = read-committed;

-- 设置隔离级别为可串行化
SET hive.txn.isolation = serializable;

-- 查看当前隔离级别
SET hive.txn.isolation;
7. 性能优化建议
-- 优化事务表性能
SET hive.compactor.worker.timeout = 86400; -- 压缩器超时时间
SET hive.compactor.check.interval = 300;   -- 压缩检查间隔
SET hive.txn.max.open.batch = 1000;        -- 事务批处理大小

-- 调整 ORC 文件属性以提高事务性能
CREATE TABLE optimized_transactional_table (
    id INT,
    data STRING
)
CLUSTERED BY (id) INTO 8 BUCKETS
STORED AS ORC
TBLPROPERTIES (
    'transactional'='true',
    'orc.compress'='SNAPPY',           -- 使用 Snappy 压缩
    'orc.create.index'='true',         -- 创建索引
    'orc.row.index.stride'=10000       -- 行索引步长
);
8. 监控和故障排除
-- 查看表的事务属性
DESCRIBE EXTENDED transactional_table;

-- 查看表的分桶信息
DESCRIBE FORMATTED transactional_table;

-- 检查表文件结构（事务表会有delta目录）
hdfs dfs -ls /user/hive/warehouse/transactional_table;

-- 分析表统计信息以提高查询性能
ANALYZE TABLE transactional_table COMPUTE STATISTICS;
ANALYZE TABLE transactional_table COMPUTE STATISTICS FOR COLUMNS;

-- 检查事务相关配置
SET hive.support.concurrency;
SET hive.txn.manager;
SET hive.compactor.initiator.on;

9. 注意事项和限制
性能影响：事务操作比非事务操作慢，因为需要维护额外的元数据。
存储格式：只支持 ORC 格式（从 Hive 4.0 开始支持其他格式）。
分桶要求：必须使用分桶表。
压缩需求：需要定期运行压缩来合并小文件。
并发限制：虽然支持并发，但高并发场景下可能需要调整配置。
回滚限制：Hive 的回滚能力有限，某些操作可能无法完全回滚。

10. 实际应用示例

-- 创建一个用于审计日志的事务表
CREATE TABLE audit_log (
    log_id BIGINT,
    user_id INT,
    action STRING,
    action_time TIMESTAMP,
    details STRING
)
CLUSTERED BY (user_id) INTO 8 BUCKETS
STORED AS ORC
TBLPROPERTIES ('transactional'='true');

-- 在存储过程中使用事务
INSERT INTO audit_log VALUES (1, 1001, 'LOGIN', CURRENT_TIMESTAMP, 'User logged in');
UPDATE user_sessions SET last_login = CURRENT_TIMESTAMP WHERE user_id = 1001;
-- 提交事务
COMMIT;

-- 处理业务逻辑中的错误并回滚
START TRANSACTION;
BEGIN
    INSERT INTO orders VALUES (1001, 199.99, 'NEW');
    UPDATE inventory SET quantity = quantity - 1 WHERE product_id = 5001;
    -- 如果库存不足，抛出异常
    IF (SELECT quantity FROM inventory WHERE product_id = 5001) < 0 THEN
        ROLLBACK;
        INSERT INTO audit_log VALUES (2, 1001, 'ORDER_FAILED', CURRENT_TIMESTAMP, 'Insufficient inventory');
        COMMIT;
    ELSE
        COMMIT;
        INSERT INTO audit_log VALUES (3, 1001, 'ORDER_SUCCESS', CURRENT_TIMESTAMP, 'Order placed successfully');
        COMMIT;
    END IF;
END;
Hive 的事务支持使得它能够处理需要 ACID 特性的场景，如变更数据捕获、更新和删除操作，
以及需要一致性保证的复杂 ETL 流程。然而，由于性能考虑，应该谨慎使用事务功能，只在确实需要的场景下启用。