爬取豆瓣电影TOP250

最新推荐文章于 2025-07-14 17:38:18 发布

代码拖拉鸡

最新推荐文章于 2025-07-14 17:38:18 发布

阅读量2.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：网络爬虫 python

本文链接：https://blog.youkuaiyun.com/qq_38290604/article/details/89329803

本文介绍如何使用Python的requests库和正则表达式爬取豆瓣电影TOP250的电影信息，包括电影排名、名称、导演、年份和评分，并通过分页操作获取所有数据，最后利用pandas将数据保存到csv文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取豆瓣电影TOP250

我们要爬取的网址：https://movie.douban.com/top250

我们要爬取的内容是250部电影的基本信息：排名、电影名、导演、年份、评分；爬取后将这些电影的信息保存在一个csv文件中。

将页面滑到底部，可以看到一共10页，所以我们需要爬取一个页面，然后重复10次，每次爬取的方法相同，不同的是网址的某个参数。

1.使用requests库爬取页面源代码

这一步很简单，不需要登录，也不需要重新构造headers。

def getPage(url):
    try:
        headers = {'user-agent': 'Mozilla/5.0'}
        r = requests.get(url, headers=headers)
        return r.text
    except:
        print("爬取失败")