Shell模拟多线程/任务队列

本文介绍了如何使用Shell脚本模拟多线程,通过创建fifo文件实现线程池的概念,控制并发进程的数量。示例脚本展示了线程的创建、任务执行以及线程的同步。此外,还提到了任务队列的简单实现,通过生产者-消费者模型处理任务。


版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明
http://luobeng.blogbus.com/logs/123290553.html

#!/bin/bash 
SEND_THREAD_NUM=13 
tmp_fifofile="/tmp/$$.fifo" 
mkfifo "$tmp_fifofile" 
exec 6<>"$tmp_fifofile" 
for((i=0; i < $SEND_THREAD_NUM; i++)); do 
    echo 
done >&6 
for i in `seq 1 100`; do 
    read -u6 
    { 
        echo $i 
        sleep 3 
        echo >&6 
    } & 
    pid=$! 
    echo $pid 
done 
wait 
exec 6>&-

http://findingcc.blog.51cto.com/1045158/287417

上面是一篇详细的注解。

上面这段脚本相当于模拟了一个线程数为13的线程池,实在是绝妙。

首先,建立一个fifo文件,然后写入13个空行,代表了13个线程。然后,把fifo文件的输入输出重定向到文件描述符6,

read -u6开始从6号文件描述符读取空行,每读取一个空行返回(相当于得到了创建一个线程的令牌),执行一段后台脚本

(相当于开始一个线程的任务),脚本执行完后,重新把空行写入到fifo文件(相当于把令牌归还)。这样就保证了空行的总数不变

(即线程总数不变),如果read没有独到空行,read会阻塞 等待其他模拟线程结束,并把空行写入到fifo文件。

 

另外一份代码,类似

#!/bin/bash

function pinghost { 
ping $1 -c 1 -w 10 |grep rtt|cut -d “/” -f6 
}

tmp_fifofile=”/tmp/$.fifo”   # 脚本运行的当前进程ID号作为文件名 
mkfifo $tmp_fifofile         # 新建一个随机fifo管道文件 
exec 6<>$tmp_fifofile         # 定义文件描述符6指向这个fifo管道文件 
rm $tmp_fifofile

thread=10 
for ((i=0;i<$thread;i++));do   # for循环 往 fifo管道文件中写入10个空行 
echo 
done >&6 
while read domain 
do 
read -u6                  # 从文件描述符6中读取行(实际指向fifo管道) 

pinghost ${domain};      # 执行pinghost函数 
echo >&6                      # 再次往fifo管道文件中写入一个空行。 
}&                                  # 放到后台执行

done

wait                          #因为之前的进程都是后台执行,因此要有wait来等待所有的进程都执行完毕后才算整个脚本跑完。 
exec 6>&-                #删除文件描述符6 
exit 0 
说明:{} 这部分语句被放入后台作为一个子进程执行,这部分几乎是同时完成的,当fifo中10个空行读完后 while循环 
继续等待 read 中读取fifo数据,当后台的10个子进程后,按次序排队往fifo输入空行,这样fifo中又有了数据,for语句继续执行

-------------------------------------------------------------------------------------------------------------------------------------

linux shell 实现多线程

在bash中,使用后台任务来实现任务的“多进程化”。在不加控制的模式下,不管有多少任务,全部都后台执行。也就是说,在这种情况下,有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况:

实例一:正常情况脚本

 

linux <wbr>shell <wbr>实现多线程 # !/bin/bash
<think>好的,我现在需要向用户介绍Shell中的多线程执行。首先,我需要明确用户的问题是什么,他们可能想了解如何在Shell脚本实现并发执行任务,以提高效率。接下来,我得考虑Shell本身是否支持多线程,或者用户是否指的是多进程的方式,因为Shell通常使用子进程来模拟并发。 首先,我应该解释Shell本身并不支持真正的多线程,比如像Java或Python那样的线程模型。Shell脚本默认是顺序执行的,但可以通过一些方法实现并发,比如使用后台运行(&)和wait命令来控制多个进程的并行执行。这实际上是多进程的方式,但在效果上类似于多线程,能够同时处理多个任务。 接下来,我需要介绍具体的实现方法。例如,使用&将命令放到后台运行,这样脚本不会等待该命令完成就继续执行下一个命令。然后,使用wait命令等待所有后台任务完成,这样可以确保在需要的时候同步各进程的结果。 可能还需要提到如何控制并发数量,比如使用命名管道(mkfifo)或类似的技术来创建队列,限制同时运行的进程数目,避免系统资源被耗尽。例如,使用循环和计数器来启动一定数量的后台任务,然后等待其中一部分完成后再启动新的任务,从而控制并发度。 另外,需要提到一些常见的陷阱,比如资源竞争、输出混乱的问题。当多个进程同时向标准输出写入时,输出可能会交错在一起,导致难以阅读。这时候可以考虑将每个进程的输出重定向到不同的文件,或者使用工具如GNU parallel来处理复杂的并行任务,它能够更好地管理输出和资源分配。 还有,GNU parallel是一个强大的工具,可以简化并行处理,用户可能想知道这个工具的基本用法,比如如何用它来并行执行命令,处理输入列表,控制任务数量等。但用户的问题是关于Shell本身的多线程,所以可能需要简要提及这个工具作为扩展。 在结构上,应该先介绍基本概念,然后逐步讲解实现方法,从简单的后台执行到控制并发数量,再到处理输出和推荐工具。同时,需要提供示例代码,帮助用户更好地理解。例如,展示一个使用循环和后台任务来并发处理文件的例子,或者使用队列机制限制并发数的例子。 还要注意语法正确性,在示例中使用正确的Shell语法,比如使用圆括号启动子shell,或者使用wait的正确位置。同时,可能需要提醒用户注意不同Shell之间的差异,比如Bash和Dash可能在语法上有所不同,建议使用Bash以获得更好的功能支持。 最后,总结Shell多线程(实际是多进程)的优缺点,适用场景,以及更高效的工具推荐,比如GNU parallel或者xargs的-P参数,这些都能帮助用户更好地处理并行任务。需要确保回答结构清晰,步骤明确,让用户能够逐步理解和应用这些方法。</think>在Shell脚本实现多线程(实际是**多进程并发**)的步骤如下: --- ### 一、基本概念 Shell本身不支持真正的多线程(Thread),但可通过启动多个子进程模拟并行。常用方法: - `&` 符号:将命令放入后台执行 - `wait` 命令:等待所有后台任务完成 - 资源控制:避免过度占用CPU/内存 --- ### 二、基础实现 #### 示例1:简单并行任务 ```bash #!/bin/bash # 启动3个后台任务 task1() { sleep 2; echo "任务1完成"; } task2() { sleep 1; echo "任务2完成"; } task3() { sleep 3; echo "任务3完成"; } task1 & task2 & task3 & wait # 等待所有后台任务结束 echo "所有任务完成" ``` #### 输出结果: ``` 任务2完成 任务1完成 任务3完成 所有任务完成 ``` --- ### 三、控制并发数量 #### 方法1:循环计数器 ```bash #!/bin/bash max_workers=2 # 最大并发数 counter=0 for i in {1..5}; do ( echo "任务 $i 开始" sleep $((RANDOM%3+1)) echo "任务 $i 完成" ) & ((counter++)) if ((counter == max_workers)); then wait # 等待当前批次任务完成 counter=0 fi done wait echo "全部任务结束" ``` #### 方法2:使用命名管道(更精准控制) ```bash #!/bin/bash concurrent=3 tmp_fifo="/tmp/$$.fifo" mkfifo $tmp_fifo exec 6<>$tmp_fifo rm -f $tmp_fifo for ((i=0; i<$concurrent; i++)); do echo >&6 # 初始化管道令牌 done for i in {1..10}; do read -u6 # 获取令牌 { echo "处理任务 $i" sleep 1 echo >&6 # 归还令牌 } & done wait exec 6>&- echo "执行完毕" ``` --- ### 四、注意事项 1. **输出混乱问题** 各子进程的输出可能交错,可通过重定向解决: ```bash task > output_$i.log 2>&1 & ``` 2. **资源监控** 使用 `top` 或 `htop` 观察CPU/内存占用 3. **任务隔离** 每个子进程是独立环境,变量需显式传递 --- ### 五、高级工具推荐 1. **GNU Parallel** ```bash seq 10 | parallel -j 4 "echo Processing {}; sleep 1" ``` 2. **xargs 的 -P 参数** ```bash seq 10 | xargs -I{} -P4 sh -c 'echo 处理{}; sleep 1' ``` --- ### 六、适用场景 - 批量文件处理(如压缩/格式转换) - API并发请求测试 - 日志并行分析 --- 通过合理控制并发数,Shell脚本实现效率提升数倍至数十倍,但需注意避免过度并发导致系统负载过高。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值