python多线程————6、线程同步之Semaphore

释晓

于 2018-11-08 16:31:14 发布

阅读量447

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/sinat_34461756/article/details/83863464

版权

python 专栏收录该内容

23 篇文章

订阅专栏

本文介绍如何使用Python的Semaphore来控制线程并发数量，通过实例演示了如何限制爬虫的并发请求，防止因请求过多导致服务器负载过高。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

控制代码进入线程的数量，控制并发数量，可以使用信号量Semaphore。

1、定义信号量sem = threading.Semaphore(3) #3为并发数量

2、消耗信号量 sem.acquire()

3、释放信号量 sem.release()

#Semaphore是用于控制进入数量的锁
#文件,读、写， 写一般只是用于一个线程写，读可以允许多个


#做爬虫
import threading
import time
class HtmlSpider(threading.Thread):
    def __init__(self,url,sem):
        super(HtmlSpider, self).__init__()
        self.url = url
        self.sem = sem

    def run(self):
        time.sleep(2)
        print('Got html secessful!')
        sem.release()

class UrlProducer(threading.Thread):
    def __init__(self,sem):
        super().__init__()
        self.sem = sem
    def run(self):
        for i in range(20):
            sem.acquire()
            thread_html = HtmlSpider("http://www.baidu.com/{}".format(i),self.sem)
            thread_html.start()
if __name__ == "__main__":
    sem = threading.Semaphore(3)
    producer_thread = UrlProducer(sem)
    producer_thread.start()