【转】Linux中多线程wait使用注意

最新推荐文章于 2025-09-12 18:08:49 发布

转载最新推荐文章于 2025-09-12 18:08:49 发布 · 102 阅读

文章标签：

#操作系统

本文介绍了一种在Hadoop环境中使用Shell脚本处理大量日志文件的方法，并解决了使用管道时无法有效进行并发管理的问题。通过修改while循环的处理方式，实现了多线程并行处理，提高了整体效率。

使用管道生成的while，是无法进行并发管理的

hdfs dfs -rmr $cdns_hadoop_base_dir/dt=$ydate
hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate
cat nodeList| while read nodename 
do
    hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
    ls *$nodename*lzo > cdnsFileListLzo
    while read query_log
    do
    (    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
        rm $query_log -rf
        yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
    done < cdnsFileListLzo
wait
done

里面用小括号括住代码块。。。

在处理日志的时候，采用管道多线程，怎么都实现不了wait功能，经上篇文章才知道，使用管道生成的while，无法进行并发管理。

while read query_log
    do
    (    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
        rm $query_log -rf
        yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
    done < cdnsFileListLzo

修改为上述方式，完美解决问题。。。

OVER

关注博主即可阅读全文