爬虫笔记-使用python爬取豆瓣短评

最新推荐文章于 2025-11-10 11:50:23 发布

原创

最新推荐文章于 2025-11-10 11:50:23 发布 · 4k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了如何使用Python进行网络爬虫，模拟登录豆瓣网站以抓取超过200条的电影短评。通过获取动态IP、设置代理、模拟登录并解析HTML内容，实现了对评论的深度抓取。在爬取过程中，每20次请求更换一次IP以避免被封禁，并将抓取到的数据存储为TXT文件。

遇到的问题：如果不模拟登陆的话只能爬取200条评论，但是实现模拟登陆之后也只能爬取500条数据

# -*- encoding:utf-8 -*-

import requests
from bs4 import BeautifulSoup
import re
import random
import time

#使用session来保存登陆信息
s = requests.session()

#获取动态ip，防止ip被封
def get_ip_list(url, headers):
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, 'lxml')
    ips = soup.find_all('tr')
    ip_list = []
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_list.append(tds[1].text + ':' + tds[2].text)
    return ip_list
#随机从动态ip链表中选择一条ip
def