Python爬虫——批量爬取微博图片（不使用cookie）

最新推荐文章于 2025-05-07 17:38:46 发布

Soul fragments

最新推荐文章于 2025-05-07 17:38:46 发布

阅读量2.6w

点赞数 38

分类专栏：爬虫文章标签：爬虫微博图片 python

本文链接：https://blog.youkuaiyun.com/weixin_43943977/article/details/102873455

版权

本文介绍了一种不依赖cookie的Python爬虫方法，用于批量抓取微博图片。通过获取用户ID并替换代码中的相应值，可以从微博获取指定博主的图片。详细步骤包括如何从微博页面URL中提取用户ID，并展示了成功爬取后的图片路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言：刚开始我想要爬取微博的照片，但是发现网上大多数的blog都是需要一个cookie的东西，当时我很难得到，偶然翻到一个个人的技术博客：
http://www.omegaxyz.com/2018/02/13/python_weibo/
(顺便推荐一下他的博客吧，里面有很多干货）））
试了一下，效果还是很好的：

# -*- coding: utf-8 -*-
import urllib.request
import json
import requests
import os

path = 'D:\\picture\\weibo\\'

#id = '2093492691'
id = '2374240301'
proxy_addr = "122.241.72.191:808"
pic_num = 0
weibo_name = "programmer"


def use_proxy(url, proxy_addr):
    req = urllib.request.Request(url)
    req.add_header("User-Agent",
                   "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
    proxy = urllib.request.ProxyHandler({
   'http': proxy_addr})
    opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(req).read().decode('utf-8', 'ignore')
    return data


def get_containerid(url):
    data = use_proxy(url, proxy_addr)
    content = json.loads(data).get('data')
    for data in content.get('tabsInfo').get('tabs'):
        if (data.get('tab_type') == 'weibo'):
            containerid = data.get('containerid')
    return containerid


def get_userInfo(id)

最低0.47元/天解锁文章