HIVE实战处理(三)beeline和hive的区别

本文探讨了从Hive到Phoenix的数据迁移策略,包括使用Kettle、Shell脚本、SQL脚本及Beeline的不同场景应用。详细介绍了通过beeline执行HQL语句的步骤,以及如何处理UDF函数依赖的JAR文件,确保数据迁移的顺利进行。
一、调度脚本

1、通过hive/beeline的方式

一般情况下的hive之间的数据的转换的话,是通过kettle工具执行的,所以也是在调度的时候传入kettle的执行脚本kitchen.sh。
一般操作:
一般生产多使用ETL工具(kettle)进行处理数据的插入

/opt/data-integration/kitchen.sh -file=%%G_PATH_ETL./adm/adm_qltsys/first_page_load_time_1d_delta_daily/main.kjb -param:DT=%%v_t_day. -level=Detailed

前提是kettle里面已经配置好了要连接的数据库
在这里插入图片描述
流程的话都是调度kettle脚本执行工作,最基本的也是同kettle连接hive,只是没有暴露数据连接ip以及集群的认证等重要信息。

2、如果是插入数据不能用kettle方式解决的那么生产常常是shell脚本和sql脚本结合使用,并进行调度使用。

二、生产实践

背景:
需求:要吧hive的数导入phoenix里,使用多列多条件的查询方式(用来代替hbase)对外暴露http接口给前端查询。

从hive到外部的数据导出的情况,像phoenix的话是没有必要通过kettle执行插入数据的(应该也是可以用的)。所以要用原生的hive命令执行插入数据。<

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值