python脚本批量执行shell,使用queue、threading库
多线程队列再出江湖,搭配执行批量shell的hadoop上传sc操作。然后调试看看效果
本篇为编码操作。
和我上上家公司一样,多线程爬虫某豆荚的app应用网站,但是此次功能没有那复杂了,就是为了快点搞完。
那现在我们开始,引入Queue队列,和threading。
来看看python基础。
基本FIFO队列
class Queue.Queue(maxsize=0)
FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉。如果maxsize小于或者等于0,队列大小没有限制。
举个栗子:

输出:
