使用Python的requests库和xpath爬取豆瓣top250每部电影的详细信息

最近在做毕设，需要很多电影数据，手动输入很麻烦，所以想到了用python爬取，但本人很少接触python而且网上关于top250爬取的基本都是top250界面的信息，很少有爬取每一部详细信息的，于是自己花了点时间搞了一个，下面直接贴代码和结果，大家需要的话就用（第一次用python大家写的不好大家见谅）。

#引库，爆红点击安装即可
import requests
import uuid
from lxml import etree
import csv
#总体思想就是先取得每页25部电影的链接，再对每部电影链接进行访问并取得信息

#请求头设置一般都是这个
headers={
   
   
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
#列表用于存储下面字典中的数据
VedioList=[]
#top250每一页网址的地址都是有规律的例如第一页start=0，第二页start=25以此类推，所以下面通过循环改变网址，range（0，26，25）即循环两次
for i in range(0,26,25):
    #i=0时对应top250的第一页网址
    url='https://movie.douban.com/top250?start='+str(i)+'&filter='
    #请求（固定写法）
    resp=requests.get(url=url,headers=headers)
    data=etree.HTML(resp.text)
    #xpath定位到本页每一部电影的链接位置并取出存放到src1中（可自行输出查看）
    src1=data.xpath('//div[@class="item"]/div[@class="pic"]/a/@href')
    #接着循环25次分别访问本页面每个电影的链接
    for k in range(0,25):
        print(k)
        #访问第k部电影链接