shell实现并发

在 Shell 脚本中实现并发执行有几种常见的方法。以下是一些常见的方式：

1. 后台进程 (&)

通过在命令末尾添加 & 符号，可以在后台运行多个命令，从而实现并发执行。

#!/bin/bash

command1 &
command2 &
command3 &
wait  # 等待所有后台进程完成

• 优点：简单易用。
• 缺点：对后台进程的管理较为基础，无法限制并发数量。

2. wait 命令

wait 命令用于等待一个或多个后台进程完成。可以与后台进程结合使用，确保脚本在所有后台进程完成后继续执行。

#!/bin/bash

command1 &
pid1=$!
command2 &
pid2=$!
command3 &
pid3=$!

wait $pid1 $pid2 $pid3  # 等待特定进程完成

• 优点：可以明确等待指定的后台进程完成。
• 缺点：需要显式管理进程 ID。

3. 使用 xargs 实现并发

xargs 命令可以用于并发执行多个命令，特别适合处理从输入中读取的任务列表。

#!/bin/bash

echo "task1 task2 task3" | xargs -n 1 -P 3 bash -c 'echo "Processing $0"; sleep 2'

• -n 1：每次处理一个参数。
• -P 3：同时运行最多 3 个进程。
• 优点：适用于处理大量任务，灵活控制并发数量。
• 缺点：对复杂任务的管理可能不够直观。

4. 使用 GNU Parallel

GNU Parallel 是一个强大的工具，可以并发执行多个命令，并且提供了更多的控制选项。

#!/bin/bash

# 确保安装 GNU Parallel
# sudo apt-get install parallel

echo "command1 command2 command3" | tr ' ' '\n' | parallel

• 优点：功能强大，灵活性高，适合复杂的并发执行任务。
• 缺点：需要安装额外的软件包。

5. 使用进程组管理 (coproc)

coproc 可以用来创建并管理后台进程组，并在 Shell 脚本中处理它们的输入和输出。

#!/bin/bash

coproc mycoproc {
    while true; do
        echo "Running in coproc"
        sleep 2
    done
}

# 可以在这里向 coproc 发送输入或读取输出
sleep 5
kill ${mycoproc_PID}  # 终止 coproc 进程

• 优点：适合需要交互的后台任务。
• 缺点：较为复杂，适合高级用法。

6. 使用 & 和进程 ID 数组

控制并发数量，通过数组保存进程 ID，并使用 wait 控制并发数量。

#!/bin/bash

tasks=("task1" "task2" "task3" "task4" "task5")
max_concurrent=3
pids=()

run_task() {
    local task=$1
    echo "Running $task"
    sleep $((RANDOM % 5 + 1))
}

for task in "${tasks[@]}"; do
    run_task "$task" &
    pids+=($!)

    if [ ${#pids[@]} -ge $max_concurrent ]; then
        wait -n
        pids=($(jobs -p))
    fi
done

wait  # 等待所有后台进程完成
echo "All tasks are complete."

• 优点：可以控制并发的数量，灵活性高。
• 缺点：需要手动管理进程 ID。