爬取豆瓣电影评分前250部电影

最新推荐文章于 2025-06-05 13:56:47 发布

automan_huyaoge

最新推荐文章于 2025-06-05 13:56:47 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：大数据 python 自然语言处理

本文链接：https://blog.youkuaiyun.com/u012410628/article/details/106643139

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用Python的requests库和BeautifulSoup库爬取豆瓣Top250电影列表的方法。通过循环请求各页面，解析HTML并提取电影名称，最终形成完整的电影列表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


# 豆瓣Top250
import requests
from bs4 import BeautifulSoup


def get_movie():
    movie_list = []
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
        'Host': 'movie.douban.com'
    }
    for i in range(0, 10):
        link = 'https://movie.douban.com/top250?start=' + str(i * 25)
        r = requests.get(link, headers=headers, timeout=10)
        print(str(i + 1) + "页的响应状态码", r.status_code)

        soup = BeautifulSoup(r.text, "lxml")
        print("网址：{},网页内容：{}".format(link,soup))


        div_list = soup.find_all('div', class_='hd')
        for each in div_list:
            movie = each.a.span.text.strip()
            movie_list.append(movie)
    return movie_list


if __name__ == "__main__":
    a = get_movie()
    print(a)