Python 爬取豆瓣网电影和存取CSV文件

最新推荐文章于 2025-02-13 10:48:27 发布

程文杰

最新推荐文章于 2025-02-13 10:48:27 发布

阅读量7.1k

点赞数 4

CC 4.0 BY-SA版权

文章标签： Python爬虫

本文链接：https://blog.youkuaiyun.com/weixin_42414528/article/details/91347771

本文分享了一段使用Python的requests库、BeautifulSoup库和csv库爬取豆瓣正在上映电影信息的代码实例，包括电影名称、时长和地区，并将数据保存为CSV文件。作者在抓取评分字段时遇到问题，期待高手指教。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import csv
from bs4 import BeautifulSoup
headers={“user-agent”:“Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36”,“Referer”:“https://movie.douban.com/”}
proxy={“http”:“218.60.8.83:3129”,“http”:“113.78.67.113:9797”}
res=requests.get(“https://movie.douban.com/cinema/nowplaying/shenzhen/”,headers=headers,proxies=proxy)
res.encoding=“utf-8”
soup=BeautifulSoup(res.text,“html.parser”)
Movies=[]
for movie in soup.select(".lists > li"):
Movie_Name=movie[“data-title”]
#Movie_Score=movie[“data-score”]
#Movie_Release=movie[“data-release”]
Movie_Duration=movie[“data-duration”]
Movie_Region=movie[“data-region”]
Movies.append([Movie_Name,Movie_Duration,Movie_Region])
print(Movie_Name,Movie_Duration,Movie_Region)
with open(“douban.csv”,“w”,newline="") as fp:
write_flie = csv.writer(fp)
head = [“电影名称”,“电影时长”,“影片地区”]
write_flie.writerow(head)
for rows in Movies:
write_flie.writerow(rows)
fp.close()
###################################################################################################
在这里插入图片描述
以上代码，均测试成功；