python 多进程 get

最新推荐文章于 2024-05-25 02:30:00 发布

原创最新推荐文章于 2024-05-25 02:30:00 发布 · 746 阅读

0 ·

CC 4.0 BY-SA版权

PYTHON 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一个使用Python的requests库及多进程池实现的简单并发爬虫案例。该爬虫能够同时从多个URL抓取网页数据，并通过打印状态码和页面内容来验证抓取的成功与否。此外，还涉及了如何在多线程环境中使用锁来避免数据冲突。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests;
from multiprocessing import Pool;
import os;

import threading;
lock = threading.Lock();

def getData(url):
    #lock.acquire();    # 不加锁则是碰撞测试
    r = requests.get(url);
    print(r.status_code);
    print(r.text);
    #lock.release();

def run_proc(name):
    print('Run child process %s %s' %(name, os.getpid() ) );
    getData("http://localhost:8080/taservice/ecm/getAvailableOnebyComponent?component=android");

if __name__ == '__main__':
    p = Pool(20);
    for i in range(20):
        p.apply_async(run_proc, args=(i,) );
    print('Begin to test...');
    p.close();
    p.join();
    print('Test End.');