爬虫实战（1）| 爬取豆瓣电影评论

最新推荐文章于 2025-06-05 17:29:45 发布

原创

最新推荐文章于 2025-06-05 17:29:45 发布 · 5.2k 阅读

37 ·

CC 4.0 BY-SA版权

文章标签：

#python #html

这篇博客主要介绍了使用Python进行爬虫实战，目标是爬取豆瓣电影的评论数据。作者首先分析了评论页面的URL规律，发现每页评论的start参数按20递增。接着，将探讨如何获取这些数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大家好，作为一名互联网行业的小白，写博客只是为了巩固自己学习的知识，但由于水平有限，博客中难免会有一些错误出现，有不妥之处恳请各位大佬指点一二！
博客主页：链接: https://blog.youkuaiyun.com/weixin_52720197?spm=1018.2118.3001.5343

1.分析网址

第一页：
在这里插入图片描述

第二页：
在这里插入图片描述
第三页：

发现start值增加20

2.数据获取

import requests
import pandas as pd
import re
import time
import csv
# 网页解析
from bs4 import BeautifulSoup
import os
# 请求网址
from urllib import request

# url请求文件头
header = {
   
   'Content-Type': 'text/html; charset=utf-8',
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'}

# 登录cookies
Cookie = {
   
   'Cookie':'ll="118373"; bid=nwUzagXYPW0; __yadk_uid=6Acgns8MqIiVX8xdeR9XdvZpeZvyU70n; _vwo_uuid_v2=DA4FF1A9A542C586225D4F1CACD8FC1A2|a655a1bb3709fcf4e62213c6e574c19e; __gads=ID=bc89a11f4804e4d2-2224f02426c60020:T=1614221468:RT=1614221468:S=ALNI_MZuqSQCNFE-Xy2UlpFwBX1rX5jbnw; _vwo_uuid_v2=DA4FF1A9A542C586225D4F1CACD8FC1A2|a655a1