python 爬虫豆瓣top250

最新推荐文章于 2025-03-28 17:51:39 发布

QQ_528165628

最新推荐文章于 2025-03-28 17:51:39 发布

阅读量214

点赞数 1

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/csdn_Y_w/article/details/108443362

版权

python 专栏收录该内容

1 篇文章

订阅专栏

python 爬虫豆瓣top250

#! 循环访问网站 
import requests
from bs4 import BeautifulSoup     #从bs4这个库中导入BeautifulSoup
from distutils.filelist import findall 

a=0
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
for i in range(10):
	url="https://movie.douban.com/top250?start="+str(i*25)
	#print(url)
	r=requests.get(url, headers=headers)
	#print(r);
	url_content=r.text

	# 使用BeautifulSoup截取
	soup = BeautifulSoup(url_content,"html.parser")
	for bq in soup.find_all('div',class_='item'):
		#print(bq)
		name=bq.find('span',class_='title').get_text()
		jiesao=bq.find('p',class_='').get_text()
		# print(jiesao)
		#取图片
		img_src=bq.find('img').get('src')
		print(img_src)
		a+=1;
		# print(a)
		print("开始下载图片....")
		fileurl="dy/"+name+".png"
		img_a = requests.get(img_src)
		print(img_a)
		with open(fileurl, 'wb') as f:
			f.write(img_a.content)