scrapy爬取新浪微博关键字微博

原创

于 2018-11-06 00:17:15 发布 · 1.8k 阅读

9 ·

CC 4.0 BY-SA版权

本文介绍如何利用Python的Scrapy框架抓取新浪微博上的特定关键字内容，包括设置项目结构、编写爬虫、处理登录验证以及数据保存等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#weibo.py
# -*- coding: utf-8 -*-
from scrapy import Spider, Request, FormRequest
import re
from weibosearch.items  import WeiboItem
import  json


class WeiboSpider(Spider):
    name = "weibo"
    allowed_domains = ["weibo.cn"]
    search_url = 'https://weibo.cn/search/mblog'
    max_page=100

    cookie_raw=''#插入自己的cookie
    headers={
        'Accept': ' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': ' gzip, deflate, br',
        'Accept-Language': ' zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
        'Cache-Control': ' max-age=0',
        'Connection': ' keep-alive',
        'Content-Type': ' application/x-www-form-urlencoded',
        'Host': ' weibo.cn',
        'Origin': ' https://weibo.cn',
        'Upgrade-Insecure-Requests': ' 1',
        'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',