最近在做毕设,需要很多电影数据,手动输入很麻烦,所以想到了用python爬取,但本人很少接触python而且网上关于top250爬取的基本都是top250界面的信息,很少有爬取每一部详细信息的,于是自己花了点时间搞了一个,下面直接贴代码和结果,大家需要的话就用(第一次用python大家写的不好大家见谅)。
#引库,爆红点击安装即可
import requests
import uuid
from lxml import etree
import csv
#总体思想就是先取得每页25部电影的链接,再对每部电影链接进行访问并取得信息
#请求头设置一般都是这个
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
#列表用于存储下面字典中的数据
VedioList=[]
#top250每一页网址的地址都是有规律的例如第一页start=0,第二页start=25以此类推,所以下面通过循环改变网址,range(0,26,25)即循环两次
for i in range(0,26,25):
#i=0时对应top250的第一页网址
url='https://movie.douban.com/top250?start='+str(i)+'&filter='
#请求(固定写法)
resp=requests.get(url=url,headers=headers)
data=etree.HTML(resp.text)
#xpath定位到本页每一部电影的链接位置并取出存放到src1中(可自行输出查看)
src1=data.xpath('//div[@class="item"]/div[@class="pic"]/a/@href')
#接着循环25次分别访问本页面每个电影的链接
for k in range(0,25):
print(k)