多台机器时，简便的一条命令多台执行的方式

最新推荐文章于 2024-07-10 19:24:12 发布
原创 最新推荐文章于 2024-07-10 19:24:12 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ssh #linux

本文介绍在互联网企业中如何利用SSH实现跨多台机器的批量操作，包括原理介绍及实际应用场景，如日志查询和内存使用情况检查等。

1.简介


         在互联网企业，现在分布式几乎是必备，我们同一个业务线上的机器一般是大于1台。在这种情况下，我们经常遇到这么一个场景，为了排查一个问题，我们需要上多台机器上多次执行同一条命令，来查询日志，或者查询内存使用情况。现在可以对这个场景进行简化，在一台机器上配置ssh访问另外多台台机器，在这一台机器上执行命令，同时可以获取其他机器的结果。

         


2.ssh原理与运用


         

2.1.ssh原理


         ssh登录被认为是一种的安全的登录方式，不同于明文密码登录，ssh使用公钥加密密码，登录时使用加密后的密码，远程主机收到后，使用私钥解密，拿到登录密码，如果密码正确，就同意此次登录。

         

2.2.ssh运用

         
         

3.拓展与总结


         

3.1拓展


         

3.2总结

         
         
         
Linux Shell语言并发执行多条命令
专注基础架构领域
10-29 1万+
shell语言的并发 Default模式下，shell命令是阻塞执行的，可以通过其后添加&让这条命令异步执行，如： sleep 10 & 执行这条命令后，并不会阻塞10秒，而是立即返回。 如果将这种方法用在while循环中，则可以实现多进程并行处理。例如一下test1.sh文件为： #!/bin/bash while read line do { comm...
获取多台主机命令执行结果
更上一层楼！
12-05 1623
之前在主产品用过一个运维同事写的工具，devpssh。可以通过指定主机列表来执行一条shell命令，然后获取到所有的返回结果，输出到屏幕上。我个人觉得这个工具很实用，尤其是在有多台Nginx服务器的时候，由于负载均衡策略下，不同的请求可能会被下放到不同的get机，因此产生的日志文件就可能分布在多台机器上。如果我们一个个地到每台get机上去执行shell语句。首先工作量会很大，另外获取到的结果也不容易
ssh服务中如何批量管理100多台机器（Paramiko、 psutil模块）、跳板机（堡垒机）
m0_52165864的博客
08-18 3618
实现了同等命令命令行实现的功能：ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。使用python/shell获取对方服务器上的cpu使用率，内存使用情况，磁盘分区的使用情况，网络带宽的实验情况。，远程连接到Linux服务器，查看上面的日志状态，批量配置远程服务器，文件上传，文件下载等。psutil的主要功能包括：CPU、磁盘、内存、网络、进程等。....
ssh无密码登录多台机器，并让所有远程机执行相同命令
JOKER0707的博客
07-05 633
问题集锦 　　其实标题的内容就是很常见的集群操作，当有一个脚本或者一个命令需要很多个机器同时（或者说接近同时）执行时，就涉及到几个问题： 　　怎么通知每个主机？ 　　每个主机收到通知后，怎么让主机执行命令？ 　　怎么让上面的过程同时发生？ 　　上面其实可以分为两步： 　　登录到单个机器 　　让单个机器执行命令 　　重复上面的两个操作，执行多进程或者创建子进...
ssh远程连接其他主机并执行命令
09-10
ssh远程连接其他主机并执行命令，只能执行少量命令。也可自行优化改进
ssh到多个相同用户名密码的主机上执行命令
Jomly Kellenda的博客
12-04 557
如果使用host_list.txt的话，host_list.txt中的ip空格分隔或者换行分隔都可以。
【大数据技术】多台机器配置ssh免密登录的最快捷最不易出错的方法
u011762522的博客
08-03 1542
重点理解之处：A想登录B，就把A上生成的公钥发送到B上 A将公钥发给B，不是B可以访问A，而是A可以访问B，所以任何一台机器想要能访问其他机器，那么就把自己的公钥内容发送到别的机器的authorized_keys中去，记住，是追加，不是覆盖 在操作过程中，千万不要真的用copy，或是scp发送，这样会对自己机器或者对方机器的原有配置造成覆盖或是丢失，总之会破会两台机器的原有配置，风险太大！ 按如下方法既安全又操作简单，不易出错，最重要的是不对两台机器的原有配置带来任何的破环 具体如下： &g
Linux系统远程给多台服务器执行同一条命令
lemmon_tree的博客
12-25 1501
#!/bin/bash #declare -a all 声明一个数组变量all declare -a all all[0]=100.100.100.23 all[1]=100.100.100.24 all[2]=100.100.100.13 all[3]=100.100.100.14 all[4]=100.100.100.51 all[5]=100.100.100.52 all[6]=100.100.100.31 all[7]=100.100.100.32 all[8]=100.100.100.33 all
部署多台服务器时，只想让一台服务器执行Scheduled定时任务的解决办法
YQDSss的博客
09-11 9728
最近在开发中遇到了这个问题，部署了多台服务器，但是定时任务只需要执行一次就好了 最后和老大商量出来了3种办法，现在整理记录一下。 第一种：使用数据库的乐观锁实现只有一台服务器能执行成功 具体实现是在数据库建一张表： 表中的字段主要是：id(主键)、task_name(任务名称)、version(版本号)、update_time(更新时间)、IP(执行操作的服务器IP)、state（当前数据状态） 此表一个任务只有一条数据，存IP的目的是一直让一台服务器执行，如果挂了才让另一台服务器接手 主要思路是： 1.定
python3 网络设备基于paramiko模块ssh远程连接怎么执行多条命令
杨仕虎的博客
01-02 4107
今天本来写个脚本方便删除离职人员的vpn账号（9台防火墙），写好后发现运行后没有生效 初步的代码 import paramiko ip = [ (), (), (), () ] #存在了9个设备的IP，端口，用户，密码信息 ssh = paramiko.SSHClient() ssh.set_missing_host_key_polic...
Python实现ssh批量登录并执行命令
01-20
局域网内有一百多台电脑，全部都是linux操作系统，所有电脑配置相同，系统完全相同（包括用户名和密码），ip地址是自动分配的。现在有个任务是在这些电脑上执行某些命令，者说进行某些操作，比如安装某些软件，拷贝某些文件，批量关机等。如果一台一台得手工去操作，费时又费力，如果要进行多个操作就更麻烦啦。 或许你会想到网络同传，网络同传是什么？就是在一台电脑上把电脑装好，配置好，然后利用某些软件，如“联想网络同传”把系统原样拷贝过去，在装系统时很有用，只要在一台电脑上装好，同传以后所有的电脑都装好操作系统了，很方便。同传要求所有电脑硬件完全相同，在联想的电脑上装的系统传到方正电脑上肯定会出问题的。传系统
linux利用ssh远程执行多台机器执行同样的命令
weixin_30779691的博客
01-22 1057
这篇文章主要介绍了ssh远程执行命令方法和Shell脚本实例,本文讲解了ssh执行远程操作方法和远程执行命令shell脚本示例,需要的朋友可以参考下 ssh执行远程操作命令格式代码如下: ssh -t -p$port $user@$ip “cmd”$port : ssh连接端口号 $user: ssh连接用户名 $ip:ssh连接的ip地址 -t :提供一个远程服务器的虚拟tt...
Linux远程执行多个命令,linux利用ssh远程执行多台机器执行同样的命令
weixin_35682327的博客
04-28 604
准备工作基于公私钥认证或者用户名密码认证能确保登录到远程服务器(有点基本运维知识的人做这个事情都不是问题)cmd如果是脚本，注意绝对路径问题(相对路径在远程执行时就是坑)配置ssh免登录：首先找一台管理机(随便那台机器什么配置都可以，只要能和远程执行的机器通信就行)(1)ssh-keygen-trsa. ###生成公钥/私钥对(2)ssh-copy-id -...
Linux：ssh多台设备快速访问
lishiyu93的博客
03-20 1823
多设备之间，ssh快捷访问小技巧
对多台Linux主机的执行相同的命令
weixin_34224941的博客
08-02 452
最近在学习Linux集群的相关知识，实验中经常会在一大批主机上安装相同软件包、或者添加相应的配置信息，花了一点时间，写了一个shell脚本，虽然很拙劣，但还是可以满足现在的需求了，如果以后有其他需求的话，在考虑修改这个脚本的……控制主机：VS192.168.2.131被控主机1：RS1192.168.2.132被控主机2：RS2...
需要同时控制几十台服务器？ansible帮助我们轻松搞定！
qq_42476938的博客
04-30 946
接到一个需求，需要到几十台目标服务器上执行测试任务，并汇总数据，想想看我们操作几台服务器还可以，几十台就有点效率低了，不要怕，ansible就是专门干这个的！使用Ansible可以方便地批量执行命令或任务。
Shell实战之SSH+Shell脚本实现远程控制多主机
zzy66666c的博客
07-10 880
Shell脚本单终端控制多台主机
SSH配置多台服务器之间的免密登陆以及登陆别名
学而时习之，不亦说乎？温故而知新，可以为师矣！
03-25 2109
在研究Kafka集群的时候遇到的问题，我想要在集群中的任意节点都可以操作整个集群的服务，比如启动、停止。这里就需要使用到SSH来远程执行目标服务器上面的命令，但是就会遇到一个需要登陆密码的问题，所以研究了一下SSH的免密登陆。 什么是SSH？ SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。SSH 是较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理
ssh批量登录并执行命令的python实现代码
yidangui的专栏
01-26 748
局域网内有一百多台电脑，全部都是linux操作系统，所有电脑配置相同，系统完全相同（包括用户名和密码），ip地址是自动分配的。现在有个任务是在这些电脑上执行某些命令，者说进行某些操作，比如安装某些软件，拷贝某些文件，批量关机等。如果一台一台得手工去操作，费时又费力，如果要进行多个操作就更麻烦啦。       或许你会想到网络同传， 网络同传是什么？就是在一台电脑上把电脑装好，配置好，然后利用
shell脚本并发在30台机器上执行多条命令
最新发布
03-11
<think>好的，我现在需要帮用户解决如何编写一个shell脚本，在30台远程主机上并发执行多条命令的问题。用户提到了并发执行，所以首先我得考虑如何实现并发操作，同时还要处理远程主机的连接和命令执行。 首先，用户的需求是在30台机器上同时运行多条命令，可能需要用到并行处理的方法。常见的工具有ssh、ansible或者pssh，但用户可能希望用纯shell脚本实现，或者结合一些简单的工具。根据用户提供的引用，特别是引用[1]中的三种方法，比如使用for循环结合&后台执行，或者用xargs，或者用sshpass处理密码的情况。还有引用[2]提到ansible的script模块，可以执行本地脚本到远程主机，但用户这里可能更倾向于自己编写脚本而不是使用ansible。 首先，我需要考虑如何在不使用ansible的情况下，用shell脚本来实现。比如，使用ssh连接到每台主机，并在后台运行这些命令。这里需要注意几点：如何管理主机的IP列表，如何处理ssh的认证（比如使用密钥认证还是密码），以及如何控制并发数，避免同时启动太多进程导致资源耗尽。 用户可能需要一个脚本，读取主机列表，然后对每个主机执行ssh命令，并在后台运行。例如，使用一个循环遍历所有主机，每个ssh连接放在后台，使用&符号，然后使用wait来等待所有后台任务完成。不过这样可能会同时启动30个进程，如果主机数量多的话可能会对本地机器造成压力，所以可能需要对并发数进行限制，比如每次只并发5个或者10个。 另外，引用[1]中提到多节点并发执行的三种方法，其中第二种是使用xargs的-P参数控制并发数。这可能是一个有效的方法，可以结合ssh命令和xargs来实现并发执行。 然后，关于执行多条命令，用户可能需要在一个ssh会话中执行多个命令，可以通过将命令用分号连接，或者使用heredoc的方式输入。例如，ssh user@host "command1; command2; command3"。 接下来，需要处理主机的认证问题。如果已经配置了ssh免密登录，那么脚本可以更简单，否则可能需要使用sshpass来传递密码，但这样不太安全。建议用户配置ssh密钥认证，这样脚本中就不需要处理密码的问题。 结合这些点，脚本的大致思路可能是： 1. 准备一个主机列表文件，比如hosts.txt，每行一个主机IP或主机名。 2. 读取该文件，对每个主机执行ssh命令，发送需要执行的命令。 3. 使用xargs或者循环结合后台进程来并发执行。 4. 控制并发数，避免同时过多进程。 例如，使用xargs的-P参数指定并发数，如-P 5表示同时处理5台主机。然后结合ssh命令执行。 另外，用户可能需要执行多条命令，可以将这些命令写成一个脚本，或者通过ssh直接传递多条命令。例如： ssh user@host <<EOF command1 command2 EOF 这样可以将多行命令传递给远程主机执行。 综合这些考虑，可以提供一个使用parallel-ssh工具（如pssh）的解决方案，或者使用纯bash脚本结合xargs的方法。不过用户可能希望用最基本的工具，所以可能会选择后者。 另外，引用[3]中的例子提到了写入文件到远程主机，可能需要类似的步骤，比如将命令写入脚本，然后分发执行，但用户的问题更偏向于直接执行命令而不是分发脚本。 现在需要检查用户提供的引用，尤其是引用[2]中的ansible示例，但用户可能不想使用ansible，而是用shell脚本。因此，可能需要编写一个bash脚本，使用循环和后台进程。 可能的脚本结构： - 读取主机列表 - 定义要执行的命令 - 对每个主机，启动后台进程执行ssh命令 - 等待所有进程完成 但如何控制并发数？比如，每次启动最多N个进程，然后等待部分完成后再启动新的。 例如，使用一个计数器，循环中每次启动一个后台进程，计数器加1，当计数器达到并发数时，使用wait等待任意一个进程完成，再继续。 不过这可能比较复杂。另一种方法是使用GNU parallel工具，或者xargs的-P参数。 例如，使用xargs： cat hosts.txt | xargs -I{} -P 5 ssh user@{} "command1; command2" 这样可以并发5个进程，每个进程处理一个主机。但需要确保ssh命令正确，且每个主机的命令正确。 如果用户没有安装parallel，可能更倾向于使用xargs。 总结可能的步骤： 1. 创建主机列表文件hosts.txt，每行一个主机。 2. 编写脚本，读取该文件，使用xargs或循环启动并发ssh进程。 3. 处理命令的传递，可能需要将多条命令合并为一个字符串。 例如，脚本内容： #!/bin/bash # 主机列表文件 HOSTS_FILE="hosts.txt" # 并发数 CONCURRENCY=5 # 要执行的命令，用分号分隔 COMMANDS="uname -a; date; hostname" # 使用xargs并发执行 cat $HOSTS_FILE | xargs -I{} -P $CONCURRENCY sh -c "echo 'Executing on {}'; ssh user@{} \"$COMMANDS\"" 但需要注意，如果命令中有特殊字符，可能需要转义处理。此外，ssh命令需要配置免密登录，否则会提示输入密码。 如果用户没有配置免密登录，可能需要使用sshpass，但这样会暴露密码，不建议。 另外，如果命令中存在引号或者变量，可能需要更复杂的处理，比如使用heredoc。 或者，可以将命令写入一个脚本文件，然后使用scp复制到远程主机，再执行，但这样步骤更多。 如果用户希望直接在远程执行多条命令，可以将命令放在引号中，用分号分隔，或者使用单引号包裹。 例如： COMMANDS='uname -a; date; hostname' 然后在ssh命令中使用双引号包裹： ssh user@{} "$COMMANDS" 或者，如果命令中有变量，需要转义处理。 另一种方法是使用脚本内的函数来处理每个主机的命令，然后在后台执行。 例如： #!/bin/bash execute_commands() { host=$1 echo "Executing on $host" ssh user@$host <<'EOF' command1 command2 command3 EOF } export -f execute_commands cat hosts.txt | xargs -I{} -P 5 bash -c 'execute_commands "$@"' _ {} 这样，使用heredoc传递多行命令，并且通过xargs并发处理。但需要导出函数，并且可能在不同的shell中运行。 不过这可能比较复杂，用户可能更倾向于简单的方法。 综上，最终的脚本可能是一个结合xargs和ssh的简单脚本，控制并发数，并执行多条命令。同时建议用户配置ssh免密登录，避免密码输入的问题。 现在需要考虑示例中的代码是否正确，比如是否正确处理并发和多命令，以及如何引用用户提供的参考内容。 用户引用中的引用[1]提到三种方法，其中第三种是使用sshpass，但可能不安全。用户引用中的方法可能更偏向于使用简单的shell脚本实现并发，而不是使用ansible等工具。 因此，回答中需要给出使用shell脚本的方法，可能包括使用for循环结合后台进程，或者xargs控制并发，并处理多条命令。同时，可以提到ansible作为替代方案，但用户的问题是关于shell脚本的。 另外，用户可能希望脚本能够处理错误，比如某些主机连接失败的情况，但问题中没有特别说明，所以可能不需要处理。 最后，需要生成相关问题，比如如何配置ssh免密登录，如何限制并发数，如何处理命令中的特殊字符等。</think>### 分步解决方案 #### 1. 准备主机列表文件 创建名为 `hosts.txt` 的文本文件，每行写入一个远程主机的IP地址或主机名： ``` 192.168.1.101 192.168.1.102 ... ``` #### 2. 配置SSH免密登录（关键步骤） 在所有远程主机上配置SSH密钥认证，避免手动输入密码[^1]： ```bash # 本地生成密钥对（若未生成过） ssh-keygen # 将公钥分发到所有远程主机 while read host; do ssh-copy-id user@$host; done < hosts.txt ``` #### 3. 编写并发执行脚本 使用 `xargs` 控制并发数（例如并发5台），通过SSH执行多条命令： ```bash #!/bin/bash # 定义变量 HOSTS_FILE="hosts.txt" CONCURRENCY=5 # 并发数量 USER="your_username" COMMANDS=( "date" # 示例命令1：查看时间 "uname -a" # 示例命令2：查看系统信息 "df -h /" # 示例命令3：查看磁盘使用 ) # 拼接命令为单行字符串 CMD_STRING=$(IFS=';'; echo "${COMMANDS[*]}") # 并发执行 cat $HOSTS_FILE | xargs -I{} -P $CONCURRENCY \ sh -c "echo '==== {} ===='; ssh $USER@{} \"$CMD_STRING\"" ``` #### 4. 高级用法 - **错误重定向**：添加 `2>&1` 到ssh命令后记录错误 - **超时控制**：添加 `-o ConnectTimeout=10` 限制连接超时时间 - **结果保存**：重定向输出到文件（`>> output.log 2>&1`） --- ### 替代方案对比 | 方法 | 优点 | 缺点 | |---------------|-------------------------|-----------------------| | Shell+xargs | 无需额外工具 | 并发控制较基础 | | Ansible | 自带错误处理/结果收集 | 需要安装/学习成本 | | pssh工具 | 专业远程批量执行 | 需额外安装 | --- ### 注意事项 1. **网络稳定性**：建议添加SSH超时参数 `-o ServerAliveInterval=60` 2. **敏感操作**：避免在远程执行 `rm -rf /` 等危险命令 3. **输出混淆**：建议为每台主机的输出添加主机名标识
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值