使用python进行网络爬虫豆瓣影评

原创

于 2024-09-15 13:36:39 发布 · 1.1k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

使用py怕爬豆瓣影评

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time

# 目标URL，替换为你想爬取的电影页面的ID
movie_id = '26752088'  # 示例：电影《哪吒之魔童降世》的ID
url = f"https://movie.douban.com/subject/{
     
     movie_id}/comments"

# 请求头，模拟浏览器访问
headers = {
   
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

# 存储影评信息的列表
comments_list = []

# 爬取多个页面的数据（每个页面包含 20 条影评）
def get_comments(page_num=10):
    for page