用shell做简单的分布式计算

最新推荐文章于 2025-09-06 23:40:33 发布

转载最新推荐文章于 2025-09-06 23:40:33 发布 · 156 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wangbin2188/p/9837333.html

文章标签：

#shell #运维

本文介绍了一种基于主机哈希分配任务的分布式计算方案，利用主从节点进行数据的并行处理，通过计算数字平方的示例展示了如何在多个节点上执行脚本、汇总结果。

# 分布式计算小试
# 1.首先获取本机host,作为实际计算时分区hash的种子
# 2.以*.*.*.44为主节点，*.*.*.29/30/34/43为从节点


hash=`cat /root/data/host.txt`
ha=$[$hash -1]
cat /root/data/test.txt | while read line 
do 
    
    if [ $[$line%4] -eq ${ha}  ];then
        echo $[$line*$line]>>result_${ha}.txt
    fi
done


# 3.计算开始时将脚本和data分发到各个从节点
# 4.从主节点启动各从节点的脚本，每个节点只需要计算总量的一部分


if [ ${ha} -eq 4 ];then
    ssh root@*.*.*.43 "sh /root/data/cm.sh" &
    ssh root@*.*.*.34 "sh /root/data/cm.sh" &
    ssh root@*.*.*.30 "sh /root/data/cm.sh" &
    ssh root@*.*.*.29 "sh /root/data/cm.sh" &
fi 
sleep 5

# 5.正常执行完毕的节点会产生结果文件，将生成的结果文件发回主节点
# 6.没有结果文件的是主节点，主节点将从节点发回的结果文件汇总

if [ -b result_${ha}.txt ];then
    scp /root/data/result_${ha}.txt root@*.*.*.44:/root/data/
else
    sleep 5
    cat /root/data/result_*.txt > /root/data/res_all.txt
fi