python爬取豆瓣榜单，附加代码，一键爬取

最新推荐文章于 2025-11-14 12:28:44 发布

原创最新推荐文章于 2025-11-14 12:28:44 发布 · 1.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #pycharm #开发语言

这篇博客介绍了如何使用Python3.9和相关库requests、re、csv来爬取豆瓣电影Top250的电影名称、年份、评分和评价人数，并将数据存储到CSV文件中。首先，通过requests获取网页源代码，然后利用正则表达式解析所需信息，最后使用csv模块写入数据到CSV文件。

部署运行你感兴趣的模型镜像

爬取效果如下：

使用工具：
Python 3.9

pycharm

爬虫的一般思路：

1.拿到页面源代码 requests

2.通过re正则来提取想要的有效信息 re

3.csv 是存储格式,方便数据分析

#拿到页面源代码  requests
#通过re正则来提取想要的有效信息  re
#csv 是存储格式,方便数据分析
import requests
import re
import csv

url = "https://movie.douban.com/top250?start=1"
headers = {
    "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.62"
}
resp = requests.get(url , headers=headers)
yuandaima = resp.text
#解析数据
obj = re.compile(r'<li>.*?<div class="item">.*? <span class="title">(?P<name>.*?)</span>'
                 r'.*?<p class="">.*?<br>(?P<year>.*?)&nbsp'
                 r'.*?<span class="rating_num" property="v:average">(?P<fen>.*?)</span>'
                 r'.*?<span>(?P<num>.*?)人评价</span>',re.S)
#开始匹配
result = obj.finditer(yuandaima)
f = open("data.csv", mode="w")
csvwriter = csv.writer(f)
for it in result:
    #print(it.group("name"))
    #print(it.group("year").strip()) #strip是把前面的空行空格取消掉
    #print(it.group("fen"))
    #print(it.group("num"))
    dic = it.groupdict()
    dic['year'] = dic['year'].strip()
    csvwriter.writerow(dic.values())

f.close()
print("over!")

您可能感兴趣的与本文相关的镜像