写shell脚本 .sh

最新推荐文章于 2024-05-17 15:28:51 发布

风是外衣衣衣

最新推荐文章于 2024-05-17 15:28:51 发布

阅读量462

点赞数

CC 4.0 BY-SA版权

分类专栏：小知识点文章标签： .sh 脚本

本文链接：https://blog.youkuaiyun.com/weixin_41804049/article/details/84993453

小知识点专栏收录该内容

70 篇文章

订阅专栏

本文详细介绍了一种使用Spark进行大数据处理的具体配置方法，包括如何通过nohup命令后台运行Spark任务，设置作业名称、主节点地址、内存分配、执行器核心数等参数。同时，分享了一个实际案例，演示了如何提交并运行一个名为EmgFilterDemo的Spark应用程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

nohup /opt/software/spark/bin/spark-submit \
--name "filtertest" \
--master spark://spark安装的主机名:7077 \
--executor-memory 10G \
--total-executor-cores 20 \
--class emg.branchs.EmgFilterDemo \
/opt/module/testcxb/original-emg.spark-1.0-SNAPSHOT.jar \
hdfs://192.168.40.51:9000/user/hive/warehouse/emg.db/d181119/* \
hdfs://192.168.40.51:9000/user/hive/zz  
> /opt/module/testcxb/filtertest.log 2>&1 &

代码如上

注意每一行后面的 \ 一定注意

nohup 后台运行的意思

运行 .yunJob.sh 会自动把运行的日志放到nohup,out里面不用自己创建这种写法也不用再脚本里面加 #！/bin/bash

不知道怎么回事

注意！！！！踩到坑了

以上的写法手动执行脚本好使但是用crontab定时器一调就报错找不到指定的读取路径！！！

以后还是把全都加上！！！

#!/bin/bash
source /etc/profile

nohup /opt/software/spark/bin/spark-submit \
--name "currentTime" \
--master spark://emg4052:7077 \
--executor-memory 10G \
--total-executor-cores 20 \
--class emg.branchs.EmgFilterDemo \
/opt/module/testcxb/currentTime.jar