python爬取微博用户个人简介等信息

最新推荐文章于 2025-07-06 20:35:28 发布

master_ning

最新推荐文章于 2025-07-06 20:35:28 发布

阅读量2.2k

点赞数 1

分类专栏： python 文章标签：爬虫 python 微博

python 专栏收录该内容

39 篇文章

订阅专栏

本篇博客介绍了一个使用Python Scrapy框架实现的爬虫项目，该项目旨在从微博平台抓取特定用户的粉丝信息。爬虫通过发送请求到指定API接口获取JSON数据，并解析这些数据以提取粉丝的详细资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import json

from scrapy import Spider, Request
from weibouser.items import WeibouserItem

class WeiboSpider(Spider):
name = 'weibo'
allowed_domains = ['weibo.cn']

def start_requests(self):
for i in range(300):
yield Request(
url="https://m.weibo.cn/api/container/getIndex?containerid=231051_-_fans_-_2619766381&luicode=10000011&lfid=1076032619766381&featurecode=20000320&since_id="+str(i),
callback=self.parse
)

def parse(self, response):
result = json.loads(response.body.decode("utf-8"))
result = result["data"]["cards"][0]["card_group"]
# print(result)
item = WeibouserItem()
# 提取json页面信息
# 当item中定义需要提取的键值队在result中就赋值，快捷的遍历所有
for data in result:
for field in item.fields:
# for i in data:
if field in data["user"]:
item[field] = data["user"][field]
print(item[field])
# with open("ww","w") as f:
# f.write(result)
yield item
# print(response.text)