python脚本批量执行shell,使用queue、threading库

python脚本批量执行shell,使用queue、threading库


多线程队列再出江湖,搭配执行批量shell的hadoop上传sc操作。然后调试看看效果





​本篇为编码操作。

和我上上家公司一样,多线程爬虫某豆荚的app应用网站,但是此次功能没有那复杂了,就是为了快点搞完。

那现在我们开始,引入Queue队列,和threading。

来看看python基础。

基本FIFO队列

class Queue.Queue(maxsize=0)

FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉。如果maxsize小于或者等于0,队列大小没有限制。

举个栗子:

  移除点击此处添加图片说明文字

​输出:

  移除点击此处添加图片说明文字
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值