Twisted模块

最新推荐文章于 2023-10-22 22:28:14 发布

转载最新推荐文章于 2023-10-22 22:28:14 发布 · 67 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/c491873412/p/7834338.html

文章标签：

#python

本文介绍使用Python的Twisted库实现异步网页抓取的方法。通过创建递归任务并利用DeferredList监控所有请求的状态，确保所有URL都被正确抓取且在所有任务完成后停止事件循环。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from twisted.web.client import getPage, defer
from twisted.internet import reactor

def callback(contents):
    print(contents)

url_list = ['http://www.bing.com', 'http://www.baidu.com', ]

for url in url_list:
    deferred = getPage(bytes(url, encoding='utf8'))
    deferred.addCallback(callback)

reactor.run()

事件执行只有开始没有结束，因此需要规定某个目标任务的完成来终止事件

from twisted.web.client import getPage, defer
from twisted.internet import reactor

def callback(contents):
    print(contents)
url_list = ['http://www.bing.com', 'http://www.baidu.com', ]

_active = []

for url in url_list:
    d = getPage(bytes(url, encoding='utf8'))
    d.addCallback(callback)
    _active.append(d)

def all_done(arg):
    reactor.stop()

xx = defer.DeferredList(_active)
xx.addBoth(all_done)

reactor.run()