parallel(shell 多线程)

最新推荐文章于 2025-05-28 08:25:01 发布

草吃兔

最新推荐文章于 2025-05-28 08:25:01 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： shell 文章标签：多线程

本文链接：https://blog.youkuaiyun.com/waplys/article/details/88871826

shell 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何安装并使用GNU Parallel进行并行处理。包括依赖安装、压缩包下载与配置过程，并展示了多个示例，如文件比较、行数统计等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装依赖：

yum install -y perl-podlators
下载安装包 parallel-latest.tar.bz2
http://www.gnu.org/software/parallel/
解压
tar -jxvf parallel-latest.tar.bz2
安装
configure
make -j8
make install -j16 
测试：
cat install.log.syslog |  parallel --pipe grep 'group'
去除版权信息：
parallel --bibtex
输入
will cite

shell并行运算
sort --parallel=30 SQLData_1G.txt > 1.log
parallel --pipepart -a SQLData_100G.txt -j10 wc -l | awk '{s+=$1} END {print s}' #统计行数，控制核数
parallel --pipepart -a SQLData_100G.txt wc -l | awk '{s+=$1} END {print s}' #统计行数，默认所有核心
parallel --tag 'diff {1} {2} | wc -l' ::: SQLData_100M.txt ::: SQLData_1G.txt|awk '{print $3}' #单线程多文件，可使用split切分后diff
parallel --pipepart --block 100M -a bigfile -k --compress grep -f regexp.txt # -f grep 文件、-F grep 字符


diff尝试split切割1G个小文件后parallel对比？？？？

diff --speed-large-files SQLData_1G.txt SQLData_10G.txt  #加速不多，但有