python 爬虫豆瓣top250

原创于 2020-09-07 10:54:24 发布 · 218 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一个Python爬虫项目，旨在抓取豆瓣电影Top250榜单的数据，包括电影名称、简介和图片，并展示了如何使用requests和BeautifulSoup库进行网页信息的抓取与解析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python 爬虫豆瓣top250

#! 循环访问网站 
import requests
from bs4 import BeautifulSoup     #从bs4这个库中导入BeautifulSoup
from distutils.filelist import findall 

a=0
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
for i in range(10):
	url="https://movie.douban.com/top250?start="+str(i*25)
	#print(url)
	r=requests.get(url, headers=headers)
	#print(r);
	url_content=r.text

	# 使用BeautifulSoup截取
	soup = BeautifulSoup(url_content,"html.parser")
	for bq in soup.find_all('div',class_='item'):
		#print(bq)
		name=bq.find('span',class_='title').get_text()
		jiesao=bq.find('p',class_='').get_text()
		# print(jiesao)
		#取图片
		img_src=bq.find('img').get('src')
		print(img_src)
		a+=1;
		# print(a)
		print("开始下载图片....")
		fileurl="dy/"+name+".png"
		img_a = requests.get(img_src)
		print(img_a)
		with open(fileurl, 'wb') as f:
			f.write(img_a.content)