11、并行管道：提升数据处理效率的利器

并行管道：提升数据处理效率的利器

在数据处理和分析的过程中，我们常常会遇到需要多次运行相同命令或管道的任务。例如，抓取数百个网页、进行数十次 API 调用并转换其输出、为一系列参数值训练分类器，或者为数据集中的每对特征生成散点图等。这些任务都涉及到一定形式的重复操作。

串行处理

在深入探讨并行化之前，我们先了解一下串行循环。掌握串行循环是很有必要的，因为它的功能始终可用，其语法与其他编程语言中的循环非常相似，而且能让我们更好地理解和欣赏 GNU Parallel 工具。

对数字进行循环

假设我们需要计算 0 到 100 之间每个偶数的平方。可以使用命令行计算器工具 bc 来完成这个任务。计算 4 的平方的命令如下：

$ echo "4^2" | bc
16

对于一次性计算，这种方法很完美。但如果要计算 0 到 100 之间所有偶数的平方，手动修改命令并执行 51 次显然是不现实的。这时，我们可以使用 Bash 的 for 循环来让计算机自动完成这项工作：

$ for i in {0..100..2}  
> do
> echo "$i^2" | bc      
> done | tail           

上述代码中，Bash 的花括号扩展功能会将 {0..100..2} 转换为一个以空格分隔的列表：