使用Python的requests库和xpath爬取豆瓣top250每部电影的详细信息

最近在做毕设,需要很多电影数据,手动输入很麻烦,所以想到了用python爬取,但本人很少接触python而且网上关于top250爬取的基本都是top250界面的信息,很少有爬取每一部详细信息的,于是自己花了点时间搞了一个,下面直接贴代码和结果,大家需要的话就用(第一次用python大家写的不好大家见谅)。

#引库,爆红点击安装即可
import requests
import uuid
from lxml import etree
import csv
#总体思想就是先取得每页25部电影的链接,再对每部电影链接进行访问并取得信息

#请求头设置一般都是这个
headers={
   
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
#列表用于存储下面字典中的数据
VedioList=[]
#top250每一页网址的地址都是有规律的例如第一页start=0,第二页start=25以此类推,所以下面通过循环改变网址,range(0,26,25)即循环两次
for i in range(0,26,25):
    #i=0时对应top250的第一页网址
    url='https://movie.douban.com/top250?start='+str(i)+'&filter='
    #请求(固定写法)
    resp=requests.get(url=url,headers=headers)
    data=etree.HTML(resp.text)
    #xpath定位到本页每一部电影的链接位置并取出存放到src1中(可自行输出查看)
    src1=data.xpath('//div[@class="item"]/div[@class="pic"]/a/@href')
    #接着循环25次分别访问本页面每个电影的链接
    for k in range(0,25):
        print(k)
        
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值