基于python分别采用同步与异步（协程）的方式抓取时光网TOP100电影

本文链接：https://blog.youkuaiyun.com/python_doris/article/details/102620652

本文通过同步和异步（协程）两种方式实现抓取时光网Top100电影，展示了异步运行如何提高代码效率。同步方式在等待服务器响应时不会发起新请求，而异步则能在等待期间处理其他任务。实验结果显示，异步抓取耗时16.9秒，同步耗时39.5秒，但异步方式可能导致电影按响应速度而非TOP100顺序保存。开发者应根据具体需求选择合适的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如题，同步运行就是python按照代码逐一运行，如向服务器发送请求，前一个请求得到回应后，才会发起后一个请求，而异步可以在前一个请求在等待回应的时候，就可以发起后一个请求，甚至后两个请求，等到第一个请求得到响应后再回来处理，即可以在多个任务之间来回切换运行，这样就提高了python跑程序的效率，如任务量大，抓取网页多，可能会缩短大量时间。但是，这两种运行方式有一个共同点，那就是同一时刻只能执行一个任务。

现分别以同步与异步的方法抓取了时光网Top100的电影（共10个网页），发现异步方式确实一定程度提高了代码运行效率，但是值得注意的是，应为异步运行每次的流程与服务器响应有关，所以每次的运行流程稍有不同，在代码中我用print打印了整个抓取流程，列出代码如下：

同步运行：

-------欢迎加入python学习交流扣扣裙851211580-------
import requests
from bs4 import BeautifulSoup
import openpyxl
import time
start=time.time()
headers={
   
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
        }
url1='http://www.mtime.com/top/movie/top100/'#爬第1页
res=requests.get(url1,headers=headers)
print(res.status_code)
soup=BeautifulSoup(res.text,'html.parser')
mov_con=soup.find_all('div',class_='mov_con')
num=soup.find_all('div',class_='number')
list=[]
for i in  mov_con:
    protagonist=[]
    name=i.find('h2').text
    director=i.find_all('p')[0].find('a').text
    protagonist_con=i.find_all('p')[1].find_all('a')