python脚本批量执行shell，使用queue、threading库

最新推荐文章于 2025-04-26 16:12:16 发布
原创 最新推荐文章于 2025-04-26 16:12:16 发布 · 3.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #python #shell #多线程 #数据

python脚本批量执行shell，使用queue、threading库


多线程队列再出江湖，搭配执行批量shell的hadoop上传sc操作。然后调试看看效果





​本篇为编码操作。

和我上上家公司一样，多线程爬虫某豆荚的app应用网站，但是此次功能没有那复杂了，就是为了快点搞完。

那现在我们开始，引入Queue队列，和threading。

来看看python基础。

基本FIFO队列

class Queue.Queue(maxsize=0)

FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器，使用方法很简单,maxsize是个整数，指明了队列中能存放的数据个数的上限。一旦达到上限，插入会导致阻塞，直到队列中的数据被消费掉。如果maxsize小于或者等于0，队列大小没有限制。

举个栗子：

  移除点击此处添加图片说明文字

​输出：

  移除点击此处添加图片说明文字
最低0.47元/天 解锁文章

200万优质内容无限畅学
shell 多进程调用python脚本并控制参数(并行调参)
qq_31293215的博客
05-05 2116
今天接到领导的一个需求，说：test.py是模型运行文件，每调用十次取一次平均值作为结果。现要对其并行调参，由于是在linux下，当然选择shell啦，很简易的需求，由于菜搞了半天才搞运行，代码设计美感毫无。shell小白可以参考，大神还请帮我解答个问题：如何将调用py文件的输出保存为变量？真心求解，望不吝赐教 先贴一下工程目录： 环境是在AI studio下，上面那个release_da...
python动态加载脚本_动态执行python脚本
weixin_39844481的博客
12-04 1069
前言存在许多独立的python脚本，这些脚本可能会增加，也可能会减少，现在需要按照某种顺序调度这些程序。在python的standard library中，有一个模块imp可以实现动态的调用pthon脚本，实现调用，imp需要知道脚本的module name,module path。思路(一) 所有的python脚本都要提供一个入口函数：def main(args):#args为string，由脚...
python 批量执行同一个shell
hx_long的博客
05-18 790
使用python 可以进行多线程/进程同步进行某些操作。 可以使用subprocess库。这里主要使用的是check_call 和call两个方法。 开发的思路：首先按照单个文件执行的逻辑思路来写出你的基本的程序，第二步，将第一步中的程序添加到多线程或者多进程中来。 接下来是实际操作： 这是shell脚本的命令，文件：run.sh name=$1 echo ${name} 接下来是python代码，文件：run.py 进程池方式： from multiprocessing import Pool from
python调用shell命令 批量执行python程序
软件工程小施同学 的专栏
01-04 1245
一、问题背景 学生写了一个计算器程序test.py，我要去测上面这个5个命令是否能够获得正确的结果 我想写一个python代码，包含上面5个命令，并输出给我看结果，可以实现吗？ 二、不需要获取shell返回结果的 使用 os.system(command) 新建judge.py # -*- coding: utf-8 -*- import os os.system("python3 test.py \"1 + 2 - 3 +...
linux shell 数组建立及使用技巧
weixin_30646505的博客
09-30 297
linux shell在编程方面比windows 批处理强大太多，无论是在循环、运算。已经数据类型方面都是不能比较的。 下面是个人在使用时候，对它在数组方面一些操作进行的总结。 1.数组定义 [chengmo@centos5 ~]$ a=(1 2 3 4 5)[chengmo@centos5 ~]$ echo $a1 一对括号表示是数组，数组元素用“空格”符号分割开。 ...
python多线程队列处理_利用python多线程和队列管理shell程序
weixin_39895167的博客
12-04 158
首先来描述下环境，在机器上有很多个JAVA程序，我们在每个JAVA程序里都配置了一个启动|停止|重启的脚本举个例子：我们现在要同时运行这些脚本，来达到快速启动所有的JAVA程序，如果我们只用多线程的话，线程是不会返回消息给父进程，我们如何才能知道这些程序是启动成功了呢？所以我们用到了队列来管理。"""我试过gevent,但是会在command这里造成阻塞"""gevent代码如下 如果有朋友知道...
使用Python实现批量ping操作方法
09-16
因此，开发一个能够批量执行Ping操作的Python脚本成为了提高工作效率的重要手段。 #### 技术选型与环境准备 为了实现上述功能，本项目选择了Python作为主要开发语言。Python以其简洁易读的语法、强大的库支持以及...
Python与Shell脚本并发处理应用案例分析
- **Python和Shell的结合**：在Shell脚本中使用`python`或`python3`命令来调用Python脚本，并将Python脚本处理的结果通过Shell脚本进行进一步的处理。 - **自动化处理流程**：比如，可以创建一个自动化脚本，每天...
知识点：ARP欺骗脚本（并发、py执行shell、grep、awk、sed）
The_Darker的博客
09-30 498
1、ARP脚本 条件：Python版本为2；Linux环境 while 1: ​ pass 上述代码作用：防止子线程未结束而主线程就已停止 该脚本作用：根据输入IP查找该主机在局域网内是否存活，再ARP欺骗该主机和网关，使该主机无法上网，本机为中间人；若本机开启IP转发，则该主机可以上网，其所有上网流量流经本机 开启IP转发（kali系统）：echo 1 > /proc/sys/net/ip...
shell实现队列控制并发执行脚本
linxi7的博客
07-31 2870
在工作中，个人需要用到统计数据的脚本，比如对批量文件过滤关键字进行统计等等，这种需求很常见。默认的shell脚本是串行的，当有大量文件的时候，要进行循环一个个的过滤出来，这个过程需要比较久，效率也比较低。通过查找资料，对脚本进行调整，实现并发执行，具体如下： #!/bin/bash date DIR=/test/log/ FILE_NAME=65535_`date +"%Y%m%d"`;...
shell脚本顺序执行和并发执行
闲人一小枚
02-26 9217
顺序执行 #!/bin/bash date for i in `seq 1 6` do { echo "sleep 2" sleep 2 } done date 并发执行并等待执行完成 #!/bin/bash date for i in `seq 1 6` do { echo "sleep 2" sleep 2 }& done wait #等待执行完成 date...
python并发执行shell_[实战] Python 运维之随心使用并发与并行
weixin_39849479的博客
12-04 186
今天从大哥手里接了一个需求：验证一下新的 Docker 镜像仓库(Docker Registry)是否迁移成功了简单粗暴的方法就是拿到老仓库中的镜像列表(Image List)，在新仓库模拟用户重新拉取(pull)一遍来验证，我们开始subprocess如果我们用 Shell 来写，执行 Docker 命令很容易，直接写就是了，但是对结果的判断就不那么友好了(Shell 大神忽略)，那么 Pyth...
Linux中的Shell用SSH自动登录远程服务器后执行命令并自动退出
qq_27286399的博客
09-21 8015
目录 [隐藏] 1 SSH命令格式 2 主要参数说明 3 ssh控制远程主机，远程执行命令步骤 4 准备工作 5 基于公私钥认证远程登录可能存在的不足 6 ssh 执行远程命令格式 6.1 打开远程shell 7 ssh的-t参数 SSH命令格式 usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec] [-D [bind_address:]port] [-e esca
【python脚本】批量下载文件名从1到100的文件
最新发布
weixin_44928752的博客
04-26 275
以一个基于Python的脚本，用于批量下载文件名从1.png到100.png的文件。代码结合了多线程优化、异常处理和文件名自动生成逻辑，并支持自定义下载路径和基础URL。
bash shell数组模拟队列queue和shell数组使用技巧
小菜鸟的天地
09-15 5175
该篇文章也是我在网上找的，现在我在努力学习数组，所以就想多了解一下，现在先收藏了，等有时间了就好好的消化一下，O(∩_∩)O哈哈~ 一 shell数组操作模拟队列queue或者栈stack http://www.tech-recipes.com/rx/911/queue-a
python批量执行shell命令
weixin_30267691的博客
01-24 841
[root@master ~]# cat a.py #!/usr/bin/python # -*- coding:UTF-8 -*- import subprocess def fun(): subprocess.call(["touch /rubbish/test1"], shell=True) subprocess.call(["touch /...
Python | 执行shell 命令的几种方法
热门推荐
MissMango0820的博客
07-27 1万+
本文总结使用shell脚本的几种方法。
python（一）用kettle调python脚本实现将地址切分省.市，并将结果输出到数据库。
weixin_42227745的博客
05-26 1167
用的是python3,在官网中下载默认安装路径：C:\Users\Administrator\AppData\Local\Programs\Python\Python310。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值