Linux集群批量管理工具parallel-ssh(PSSH)的安装与使用

集群服务器远程登录:从XShell到Ansible的自动化运维实战 SSH(安全外壳协议)是Linux/Unix系统远程管理的核心技术,它通过加密通道实现安全的命令行登录和文件传输。其核心原理基于非对称加密和密钥交换,确保了通信的机密性与完整性。这项技术的价值在于为分布式系统提供了统一、安全的远程控制入口,是自动化运维和集群管理的基石。在实际应用中,无论是部署MySQL、RabbitMQ等中间件集群,还是管理Hadoop、Kubernetes等分布式平台,高效、安全的节点访问都是首要前提。本文聚焦于**XShell**、**Xftp**等常用工具的高级配置,并深入探讨如何利 阅读详情

使用pssh的动力源自实验室的测试项目,需要搭建一个200余台机器的集群,前期是32台机器的小集群,Hadoop软件列表中的第一个。

起初我自认为装个hadoop集群,改改配置文件,重复32次就完事儿了,工作量也不是很大。

但随机测试的推移,我发现,每当需要更改一个参数需要把一个操作重复执行几十次是多么另人崩溃的一件事儿。

pssh这种神器真是管理集群必备!!

下面是pssh的安装、配置与使用,假设试图通过1台机器(主结点172.16.0.1)去修改99台机器(从节点172.16.0.2-100)

PSSH安装

(系统中已经安装有python)

只需要在主节点上安装pssh

下载地址 http://parallel-ssh.googlecode.com/files/pssh-2.3.1.tar.gz

解压后进入该目录,安装

wget http://parallel-ssh.googlecode.com/files/pssh-2.3.1.tar.gz
tar -xvf pssh-2.3.1.tar.gz
cd pssh-2.3.1
python setup.py build
python setup.py install

PSSH配置

配置主要有两项内容,一、从结点的IP列表文件;二、主节点到从节点的ssh无密钥登录

IP列表文件就是将从结点的IP按行存在一个文件里,我给它命名为host_list.txt,里面共有99行,第一行172.16.0.2

下面是ssh无密钥登录

由于好多很多操作需要有sudo权限,所以尽量ssh无密钥登录到从节点的root用户下。

ssh-keygen  (然后按提示输入信息)
ssh-copy-id  –i ~/.ssh/id_rsa.pub root@172.16.0.2 (将密钥复制到从节点,需要输入密码)

PSSH使用

http://www.linuxidc.com/Linux/2013-08/88548.htm 里面说到有5个实用程序,在实际中我只用到pssh和pscp两个

pscp -h host_list.txt -r source_file_path destination_file_path
#例如将主节点的/home/master/1.txt拷贝到从节点的/home/slave/目录下
pscp -h host_list.txt -r /home/master/1.txt /home/slave/
#pscp是远程拷贝文件,如从主节点将文件分发到所有从节点
pssh -h host_list.txt -P "command"
#例如在从节点建立新目录/home/slave/test
pssh -h host_list.txt -P "mkdir /home/slave/test"

使用PSSH应该会的命令

pssh结合脚本使用比较高效,有以下几个命令可能会用到

sed

cat

重定向 >>与>

expect

推荐阅读:

批量部署ssh私钥认证以及pssh工具使用方法 http://www.linuxidc.com/Linux/2012-06/62663.htm

通过PSSH批量管理Linux服务器 http://www.linuxidc.com/Linux/2012-08/67501.htm

 
Linux环境部署:从基础到高级实践指南 Linux作为开源操作系统的代表,凭借其稳定性、安全性和高性能特性,已成为服务器部署和开发环境的首选平台。其核心原理基于Unix设计哲学,通过模块化内核和用户空间工具链实现高效资源管理。在技术价值层面,Linux环境部署能显著提升资源利用率,确保环境一致性,并拥有丰富的开源生态支持。特别是在容器化(Docker)和云计算场景下,Linux作为基础运行平台展现出不可替代的优势。实际应用中,从Web服务部署到大数据平台搭建,从嵌入式开发到AI模型训练,Linux环境部署覆盖了绝大多数技术场景。通过合理的发行版选 阅读详情

相关推荐

Android WebView内核更新机制解析与多版本兼容性实战指南

WebView作为Android系统中用于内嵌网页的核心组件,其本质是一个基于Chromium的浏览器渲染引擎。其工作原理是通过系统API将网页内容渲染到应用视图层,实现原生与H5的混合开发。这一技术对移动应用开发具有重要价值,它使得应用能够快速迭代功能、动态更新内容,并复用Web生态资源。在电商、金融、新闻资讯等各类App的H5页面、活动营销、内容展示等混合开发场景中,WebView都扮演着关键角色。然而,随着Android系统演进,WebView的更新机制从与系统捆绑转变为可通过应用商店独立更新,这带来

weixin_33834910的博客 427

linux集群批量管理工具parallel-ssh(pssh)的安装与使用

使用pssh的动力源自实验室的测试项目,需要搭建一个200余台机器的集群,前期是32台机器的小集群,hadoop软件列表中的第一个。 起初我自认为装个hadoop集群,改改配置文件,重复32次就完事儿了,工作量也不是很大。 但随机测试的推移,我发现,每当需要更改一个参数需要把一个操作重复执行几十次是多么另人崩溃的一件事儿。 pssh这种神器真是管理集群必备!! 下面是pssh的安装

soldier programmer 2280

pssh批量管理工具在Linux服务器上的使用方法

pssh是一款强大的在Linux服务器上批量管理工具,可以帮助系统管理员快速、高效地管理多台服务器。本文介绍了pssh的安装方法、配置主机列表的步骤,以及执行简单命令、交互式命令和脚本的示例。pssh(Parallel SSH)是一款强大的用于在多个远程服务器上批量执行命令的工具。在使用pssh之前,需要创建一个包含要管理的远程服务器的主机列表文件。除了执行简单命令,pssh还可以执行交互式命令。pssh可以同时在多个服务器上执行相同的命令。命令,并显示每个服务器的运行时间。是要在远程服务器上执行的命令。

IqFlask的博客 533

并行脚本执行pssh

https://code.google.com/archive/p/parallel-ssh/downloads 下载,解压,安装如下  python setup.py install  pssh  cat a.txt: node1 node2 node3 node4 已配置好单向认证。  pssh -h a.txt 'ls -al'  pssh -h a.txt 'upti

620

SAP采购含税价转换的底层逻辑解析:ABAP例程如何实现价税分离计算

本文深入解析SAP系统中采购含税价与不含税价的转换机制,重点介绍VOFM例程和ABAP代码实现价税分离计算的方法。通过详细讲解数学原理、税率体系及SAP定价引擎架构,为开发人员提供完整的解决方案,帮助提升采购业务中的价格处理效率和准确性。

weixin_29237635的博客 452

电子工程师必看:2024年IPC-A-610J和J-STD-001J新标准到底更新了啥?

本文深入解析2024年IPC-A-610J和J-STD-001J新标准的核心更新,重点关注电子制造领域的验收标准与工艺参数变化。新版标准强化了高密度组装和微焊接工艺的规范,包括焊料润湿角调整、BGA空洞率严格化等关键变更,为电子工程师提供实用指南。同时关联IPC-7711/21D和IPC-2221C的配套更新,助力企业快速适应新标准要求。

weixin_33694620的博客 797

一分钟搞定基于Saltstack+Docker集群批量安装部署Nginx

SaltStack作为一种自动化部署工具。感觉真的很好用,可以批量部署上万台服务器,有种“运筹帷幄之中,决胜千里之外”的感觉,在此我们用Saltstack来部署Nginx,来展示它的威力。

helloworldchina的博客 1094

比亚迪 10C 闪充技术全解析:超高速离子通道与双电子流设计如何颠覆电动车补能格局?

性能碾压主流方案参数宁德时代6C比亚迪10C优势幅度最大电流700A1000A+43%内阻降幅30%50%+67%5分钟补能240公里400公里+67%

百态·数智思维 | 聚焦大数据、量化与未来AI 1125

Linux集群服务器上运行命令的4个实用工具

我们假设你已经设置好了SSH以便访问所有服务器;其次假设,同时访问多台服务器时,在所有Linux服务器上设置基于密钥的无密码SSH是合适的。这增强了服务器的安全性,并让用户易于访问。Parallel-SSH是一个快速且易于使用的基于命令行的开源Python工具包,用于在众多Linux系统上并行执行ssh。

a1058926697的博客 680

如何用Arduino和HX711压力传感器制作一个简易电子秤(含OLED显示)

本文详细介绍了如何使用Arduino、HX711压力传感器和OLED显示屏制作一个简易电子秤。从硬件连接到软件编程,提供了分步教程,包括核心元件功能解析、接线方法、库安装、模块测试以及关键的校准流程。项目实践性强,适合创客和DIY爱好者学习嵌入式系统与传感器应用。

tea88的博客 537

五.EtherCAT开发之STM32F407ZGt6+ LAN9253 外置EEPROM配置数据含义

EtherCAT从站简称ESC,ESC在上电过程中,会自动加载EEPROM中前7个字(1word = 2 byte)到ESC寄存器。ESC寄存器总是可以被EtherCAT主站通过EtherCAT总线访问,无论PDI接口寄存器配置什么值。EEPROM存储器中的前7个字,将决定ESC的工作模式。

AIoT深度探索者 | 嵌入式系统架构师 深耕物联网(IoT)与人工智能(AI)融合技术,聚焦​​边缘计算、图像开发、低功耗通信协议​​,致力于智能硬件,关注我获取最新技术文章信息与海量资源~ 3479

linux 集群管理工具,Linux集群批量管理工具parallel-ssh(PSSH)的安装与使用

使用pssh的动力源自实验室的测试项目,需要搭建一个200余台机器的集群,前期是32台机器的小集群,Hadoop软件列表中的第一个。起初我自认为装个hadoop集群,改改配置文件,重复32次就完事儿了,工作量也不是很大。但随机测试的推移,我发现,每当需要更改一个参数需要把一个操作重复执行几十次是多么另人崩溃的一件事儿。pssh这种神器真是管理集群必备!!下面是pssh的安装、配置与使用,假设试图通...

weixin_26749843的博客 352

上线之前多一道闸:业务审核系统的接入定义、双轨状态机与可靠生效闭环

运营后台“保存即生效”,让价格、库存、人群等配置每次修改都相当于一次无评审的上线。本文以至尊会员降价活动为例,系统拆解业务审核系统:用带业务语义的操作编码、规则化审核人与候选人快照、完整的生效回调契约做好接入定义;把业务改造为提交待生效,以不可变快照、字段级差异和唯一约束加幂等号防误配防重复;用审批轨与执行轨双轨状态机、链路式重新提交和以事件为准的审核链路理清状态;最后以发件箱、幂等键、超时先查后试、乐观锁与对账闭合生效环节,并结合两个可运行的Java程序,给出五种生效策略的事故率实测对比。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 6万+

Hadoop-Linux集群批量部署管理工具parallel-ssh(PSSH)的安装与使用

原帖:http://www.linuxidc.com/Linux/2013-08/88547.htm 使用pssh的动力源自实验室的测试项目,需要搭建一个200余台机器的集群,前期是32台机器的小集群,Hadoop软件列表中的第一个。 起初我自认为装个hadoop集群,改改配置文件,重复32次就完事儿了,工作量也不是很大。 但随机测试的推移,我发现,每当需要更改一个参数需要把一个操作

sanms的专栏 1594

开尔文四线法与电桥(uΩ电阻检测)

本文介绍了开尔文四线法与电桥在电阻测量中的应用,特别是针对uΩ级别电阻的精确检测。讨论了基本电桥电路的工作原理,强调了开尔文四线法的优势,它能消除导线和接触电阻的影响。文中还提到了测试设备的介绍,包括不同级别的电阻测试,并详细阐述了uΩ级别电阻测试的步骤和注意事项。此外,对比了惠斯通电桥与开尔文电桥,强调了它们在电阻测量中的作用和计算方法。

让你爱上电路设计 7871

【软考中级网络工程师】知识点之常用网络诊断和配置命令

本文聚焦软考中级网络工程师必备的网络诊断和配置命令,详细解析 ipconfig、ping、arp 等 11 类核心命令。涵盖各命令的功能、语法、常用参数及应用场景,如 ipconfig 查看配置、ping 测试连通性等。还通过图呈现命令执行逻辑与流程,助读者理解原理。最后结合软考考点回顾重点并提供真题练习,为备考和实际运维提供全面指导,是掌握网络命令的实用参考。

邓邓子的博客 1569

Linux 下批量管理工具 pssh 安装和使用

Linux集群批量管理工具parallel-ssh(PSSH)的安装与使用 以前远程查看或传输文件都用ssh或rsync后来听人介绍了pssh,从网上查到它是并行传输的,所以速度更快,使用python写的。 pssh为python编写的批量并行操作服务器的工具 安装 建议使用python包管理工具pip进行安装(便于后期统一管理) pip install pssh 安装成功后,

跟着大数据和AI去旅行 3153

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

linux pssh_Pssh –使用本地系统在多个远程Linux服务器上执行命令

linux psshssh is very useful protocol and tool used by Linux system administrators. It provides easy, secure and fast access to the remote systems and servers. It also provides file copy between loca...

cunjiu9486的博客 415

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

灵活使用ssh、dsh和pssh高效管理大量计算机

http://os.51cto.com/art/201012/240113.htm 灵活使用ssh、dsh和pssh高效管理大量计算机http://os.51cto.com  2010-12-23 09:46  Martin Streicher  IBMDW  我要评论(0 )摘要: 云计算当前非常热门,但是每个计算云都有一项要求:硬件和软件都需要非常细心地维护。本文介绍如何从命令行通过ssh、dsh和pssh工具管理许多计算机。标签:UNIX   SSH云在根本上是由硬件和软件组成的,这

sunvince的专栏 920

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

linux集群分布式SSH并行管理工具

当手里有多台服务器时,常常会有一些相同的命令、相同的工作在这些服务器中重复地执行,这时候,登陆每台服务器重复执行相同的操作显然笨拙了点,而且容易漏掉某台服务器,或某些操作。我们需要一些工具,来对服务器集群进行集中式管理,pssh和mussh就是这样的两个工具。 pssh和mussh这两个出色的并行shell工具,允许我们一次性向多台服务器发送并...

weixin_34218890的博客 264

集群快速部署方法

parallel-ssh(PSSH) http://www.linuxidc.com/Linux/2013-08/88547.htm 其他 http://www.linuxidc.com/Linux/2016-03/128979.htm http://blog.youkuaiyun.com/dream_an/article/details/50674291 C3,全称是 cluster command c

Z的博客 1966

SSH批量密码修改:一条命令实现多服务器安全运维

SSH(Secure Shell)是Linux系统运维中远程管理服务器的核心技术,基于非对称加密实现安全认证。通过密钥对机制,运维人员可以免密登录多台服务器执行批量操作。在自动化运维场景下,结合Shell脚本编写,能够显著提升密码策略管理的效率与安全性。批量密码修改技术利用SSH连接池和并行处理原理,实现单条命令完成数十台服务器的密码轮换,有效应对定期安全审计、应急事件响应等运维需求。该方案特别适用于需要统一管理大量服务器密码的企业环境,通过标准化流程降低人工操作风险,是现代化运维体系中的重要实践。

weixin_30673611的博客 398

ubuntu执行远程脚本,分布式系统搭建

多数执行远程脚本都是基于ssh的, 所以 1.配置ssh免密登陆(多数分布式系统,如hadoop) 2.执行远程脚本 一. 配置ssh免密登陆 首先生成 Master 的公匙,在 Master 节点终端中执行:$ cd ~/.ssh # 如果没有该目录,先执行一次ssh localhost $ ssh-keygen -t rsa # 一直按回车就可以

chijiaodaxie的博客 25万+

linux 多个任务并行怎么执行,linux – 在多个主机上并行执行不同命令

我正在寻找一个运行一系列命令的工具,比如现有的工具:parallel -hparallel [OPTIONS] command -- argumentsfor each argument, run command with argument, in parallelparallel [OPTIONS] -- commandsrun specified commands in parallel但是我...

weixin_34792402的博客 744
上一篇: Kubernetes1.3:Quota配额管理
下一篇: kubernetes federation 工作机制之资源对象同步
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值