13、Hive数据仓库——结合shell脚本企业实战用法,定时调度

本文介绍了如何使用Hive shell脚本进行企业级实战应用,包括创建分区表、增加分区、查看分区、插入数据以及通过shell命令运行Hive SQL。同时,详细展示了如何设置定时调度任务,利用Shell脚本来实现Hive查询的自动化执行,并提供了日志记录和查看的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive shell脚本企业实战用法,定时调度

  在我们日常的工作中,肯定不会一条一条的使用SQL去取出你想要的数据,这个时候我们就可以用Linux中的定时器Shell脚本。我们可以编写一个定时任务,一小时或者一天将SQL写入脚本,让SQL自动执行然后取出数据即可,这样我们就可以实现了数据的定时调度。

建立分区表

create external table students_pt1
(
    id bigint
    ,name string
    ,age int
    ,gender string
    ,clazz string
)
PARTITIONED BY(pt string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/student/input1';

增加分区

alter table students_pt1 add partition(pt='20220220');

alter table students_pt1 add partition(pt
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

liangzai2048

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值