定时将数据导入到hive中

本文介绍了解决在CronTab中调用Hadoop遇到的环境变量问题的方法。通过设置HADOOP_HOME环境变量并将其添加到.bashrc文件中,可以成功地将数据定时导入到Hive中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

应用crontab定时将数据导入到hive中:在调用/bin/hive -f 'loadData.sql' 的时候,报错:Cannot find hadoop installation: $HADOOP_HOME must be set or hadoop must be in the path。

查资料得知是由环境变量在crontab中不一定可识别引起的。于是在脚本中前面加入export HADOOP_HOME=/home/work/hadoop-0.20.2  问题解决。也可以加这句话/home/work/.bashrc

 

引用某博客的一句话:

crontab中必须十分注意环境变量的使用
#!/bin/sh并不是必须,只是当没有sha-bang的时候,也不要在第一行有"#"后带的中文注释!!
最好当然是加上sha-bang啦 #!/bin/sh

还有一个解决方案:
30 12 * * * source ~/.bashrc && shell.sh

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值