结合线程与异步实时获取爬虫爬取状态status

本文介绍了一个银行爬虫模型的实现,模型包括登录、获取信息和爬取数据等状态。通过多线程和异步任务,跟踪模型状态变化,确保爬虫运行效率和稳定性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import time
from threading import Thread
import asyncio

class bankcrawl_model():
    def __init__(self):
        self.status="sleeping"

    def login(self):
        self.status="logging"
        print("this is status:","logging")
        time.sleep(3)
    def getinfo(self):
        self.status="getinfo"
        print("this is status:","getinfo")
        time.sleep(3)
    def crawl(self):
        print("this is status:","crawl")
        self.status="crawl"
        time.sleep(3)
        self.status="sleeping"
        print("this is status:","None")

class ModelThread(Thread):
    def __init__(self,model):
        Thread.__init__(self)
        self.model=model

    def run(self):
        self.model.login()
        self.model.getinfo()
        self.model.crawl()
        
async def get_status(model):
    old = model.status
    print(old)
    while True:
        new=model.status
        if new!=old:
            old=new
            print(new)
        if new=="sleeping":
            break

if __name__=='__main__':
    print("main start!")
    model=bankcrawl_model()
    modellist=[model]
    start_thread(modellist)
    loop=asyncio.get_event_loop()
    loop.run_until_complete(get_status(model))
    print("main end")
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值