简单的shell多进程 (后台运行方式)

最新推荐文章于 2025-02-20 19:54:48 发布

yijiyong100

最新推荐文章于 2025-02-20 19:54:48 发布

阅读量1.5k

点赞数

分类专栏：简单 shell 多进程后台运行文章标签： shell file 任务工作

本文链接：https://blog.youkuaiyun.com/yijiyong100/article/details/4125018

版权

shell 同时被 3 个专栏收录

3 篇文章

订阅专栏

简单

1 篇文章

订阅专栏

多进程

1 篇文章

订阅专栏

本文介绍了一个简单的多进程任务调度方案，通过在后台挂起一定数量的进程并动态调整任务分配来避免资源过载。当执行中的进程数超过预设阈值时，系统将暂停任务分配并进入睡眠状态，直至进程数减少后再继续。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这两天，因为工作地需要做一些的多进程的工作，看了网上的一些例子，多是通过管道文件的方式来实现的，后来想想也不用这么麻烦...

下面是一个多进程后台挂起的一个简单的例子，原理大概如下，先在后台挂起一定数量的进程，当正在执行的进程数超过一定数值后，暂停任务分配，睡眠一定时间，若后台进程数小于你设定的数值后，继续任务分配。

其实是不是也很简单...

################ change the var bill to fix #########################################
################ change the pro to multi process ####################################
################ yijy 2009.4.26 modified ############################################
InDir="/in"
OutDir="/out"
CurCmd="varfixf"
du ${OutDir}
rm ${OutDir}/*
du ${OutDir}
totalInDir=`find ${InDir} -type f | wc -l`
curDir=`pwd`
if [ ! ${totalInDir} ]
then
    echo "APP:MSG:There is no file in the in dir ... "
    exit
else
    echo "APP:MSG:Start to convert ... "
    currentBinNum=0
    find ${InDir} -type f | while read file
    do
        currentBinNum=`ps -ef | grep ${FEDX_HOME} | grep ${CurCmd} | grep ${curDir} |wc -l` /*统计后台挂起的数目*/
        echo "APP:MSG:Backgroud num : "${currentBinNum}
        while [ ${currentBinNum} -gt 30 ] /*如果挂起数目大于30，这个挂起数值可以自定义，程序暂停，睡眠，睡眠之后继续检测后台挂起的数目*/
        do
            sleep 1
            echo 'sleeping ...'
            currentBinNum=`ps -ef | grep ${FEDX_HOME} | grep ${CurCmd} | grep ${curDir} |wc -l`
        done
        filename=`basename $file`
        varfixf ${curDir}/${InDir}/${filename} ${curDir}/${OutDir}/${filename} > /dev/null &
    done
    echo "APP:MSG:Convert over ... "
fi