手动运行脚本执行正常而放入crontab调用hadoop命令没有执行成功

最新推荐文章于 2022-06-29 10:53:15 发布

转载最新推荐文章于 2022-06-29 10:53:15 发布 · 492 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/aibati2008/blog/634936

文章标签：

#大数据 #shell #python

本文介绍了一个在使用Crontab定时任务执行Hadoop命令时遇到的问题及解决方案。作者发现Crontab环境下Hadoop命令无法正常执行，经过排查发现是由于环境变量未正确配置导致。最终通过在脚本中直接加入source /etc/profile命令解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

需要每天定时上传爬取的数据文件到HDFS里，于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行，在终端是没问题的。查看日志发现crontab也运行正常。

后来终于找到原因，貌似是hadoop home的环境变量没有生效，于是在脚本里加入export hadoop的环境变量，问题解决。

一个更简单的方法是直接加入source /etc/profile在脚本的最前面.

转载于:https://my.oschina.net/aibati2008/blog/634936

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

helloxielan

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

在Linux系统下使用crontab定时运行python脚本

zoeleslie的博客

09-04

420

在Linix系统下使用crontab定时运行python脚本在Linix系统下使用crontab定时运行python脚本在Linix系统下使用crontab定时运行python脚本通过使用新建shell文件，将python脚本的执行放在shell文件中，定期执行shell文件，这样可以解决执行python时环境配置的问题,为了保险起见，所有的路径都写成绝对路径。以下为操作步骤：在py文件...

shell调度-crontab定时任务示例

ISIS7Protessional的博客

01-16

483

shell调度-定时任务示例： 1）crontab定时任务，每天执行 2）日期参数处理：传入日期参数时变量等于传入日期，未传入日期参数时变量等于昨日 3）依赖检测：执行sql语句前对上游表进行检测，若成功标志存在则执行，否则等待下次检测终端执行：sh home_recommend.sh [date可选] 终端中后台执行：nohup sh home_recommend.sh [d...

参与评论您还未登录，请先登录后发表或查看评论

crontab hadoop spark 不生效

yisun123456的博客

06-29

427

单独执行含有hadoop命令脚本生效，但是放到crontab里执行不行。1、检查crontab是否启动 systemctl status crond 、 systemctl start crond2、如果生效了，很可能是环境问题需要加上环境 source /etc/profile source ~/.bashrc......

crontab定时hadoop任务没有执行

qq_33290422的博客

06-26

2841

最近公司要从sqlserver数据库数据大约100G导入到hdfs中，由于数据库在同事的服务器中，为了不影响同事工作，计划晚上自动执行。服务器的定时脚本的时候发现了定时脚本并没有被执行，但是定时比如创建文件夹却可以执行，并且执行了下发现脚本的逻辑是没有问题的，而且直接执行是没有问题的，又去/etc/crontab文件里去看了下原来是crontab中的环境变量不一样，需要在定时脚本前面加上环境

crontab定时任务, 执行shell脚本, 报错: hadoop not found, spark not found

weixin_30827565的博客

05-15

280

权限问题在shell脚本最前面添加下面内容: #hadoop export PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/home/user/torch/install/bin: ...

关于crontab 不能调用Hadoop相关的命令的问题

Samaritan_H的博客

04-02

1876

先说结果：环境变量导致。处理方式： source /etc/profile source ~/.bash_profile 在脚本的开头引入环境变量。事件：crontab 调用shell 脚本，脚本中包含，hive -e ,hive -f 等命令，本地执行shell脚本测试无问题，但是crontab 调度任务不执行。...

Hadoop之——crontab 定时运行 hadoop 任务（以Hadoop用户身份运行crontab报错）

冰河的专栏

07-15

1982

转载请注明出处：https://blog.youkuaiyun.com/l1028386804/article/details/95964457 问题：在/etc/crontab 里添加任务，想以hadoop 用户去执行这个脚本。 */5 * * * * hadoop /bin/sh /home/hadoop/runhadoop.sh 一直报错，如下： crontab Error creati...

使用Crontab定时执行Spark任务

Trigl的博客

03-15

8790

今天的主要内容有： Linux下使用定时器crontab Linux下如何编写Perl脚本在Java程序中调用Linux命令实例：每天0点30分执行Spark任务 1. Linux下使用定时器crontab1、安装yum -y install vixie-cron yum -y install crontabs2、启停命令service crond start

大数据之Hadoop（完全分布式运行模式）

xiekengli8279的博客

01-04

246

4.3 完全分布式运行模式（1）准备3台客户机（关闭防火墙、静态ip、主机名称）（2）安装JDK （3）配置环境变量（4）安装Hadoop （5）配置环境变量（6）配置集群（7）单点启动（8）配置ssh （9）群起并测试集群 4.3.1 虚拟机准备 ...

crontab shell调用spark-sql，实现周期性动态SQL批量自动执行

oufuji的博客

12-18

6702

对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ spark-sql CLI几个参数，完全满足我等非专业人员。 CLI options: -d,--define Variable subsit

Linux Crontab执行hadoop命令脚本失败

lyp5257918的博客

07-01

2490

crontab调度hadoop命令脚本，需要添加source /etc/profile 或者 source ~/.base_profile

crontab hadoop任务没有执行

qq_33290422的博客

06-26

1324

最近一段时间公司要把sqlserver里的100G数据导入到HDFS中，但是数据库在同事的服务器中，为了不影响同事工作，决定定时在晚上自动执行，但是crontab并没有自动执行，并且执行了下发现脚本的逻辑是没有问题的，而且直接执行是没有问题的，后来又去/etc/crontab文件里去看了下，发现crontab中的环境变量不一样解决办法如下： 1：在本地输入 echo $PATH 2:将输

linux crontab 无法执行shell脚本解决方法

shenqiqian的专栏

04-15

4361

crontab 创建了一定时任务，每分钟去执行一个shell脚本 */1 * * * * sh /home/test/start.sh ============================== start.sh ： #!/bin/bash cd /home/test sh kill.sh java -jar test.jar ======================

linux执行定时任务不执行解决方法

u011777164的专栏

07-19

3486

在linux中添加定时，但是就是不执行的问题。从三个方面来排查问题：查看定时任务 crontab -l 编辑定时任务 crontab -e 在hadoop用户下查看定时任务 crontab -u hadoop -l 1、检查是否具有执行脚本权限 chmod 755 run.sh （修改脚本文件的执行权限，具有可

运行hadoop jar 命令时，依赖第三方Jar包的解决方法

xie_597328548的专栏

08-19

7117

问题：将自己编写的MapReduce程序打包成jar后，如果要依赖第三方jar包，在运行 hadoop jar 命令时，提示 ClassNotFoundException .... 解决方法： 1.新建一个lib文件夹，将需要依赖的第三方jar包放到lib文件夹中; 2.将MapReduce程序打包后的jar包(如：test.jar)用WinRAR打开，然后装lib包拖到test.jar中即

在shell脚本中如何调用hadoop 命令

龍博客

11-01

7142

我们在shell脚本中可能会用到hadoop或者其他命令，而这些命令可能是一个整体，如果我们只是简单的写入到shell脚本中，可能会被分解成其他的各个子字段，即有可能会分成两部分去执行，这样就会导致命令执行失败。 hadoop fs -get /XXXXXX 上面这个就会分成hadoop fs 和get两部分这样就执行不成功了所以在shell脚本中应该用反引号“括起来，注意这个事反引号不

shell脚本手动执行成功，定时任务调用失败的解决方法。