【Python】urllib2禁止302_301跳转+源码分析

最新推荐文章于 2025-05-16 15:16:11 发布

浪子燕青啦啦啦

最新推荐文章于 2025-05-16 15:16:11 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 原创作品

本文链接：https://blog.youkuaiyun.com/lzy98/article/details/54974080

Python 同时被 2 个专栏收录

77 篇文章

订阅专栏

原创作品

64 篇文章

订阅专栏

本文介绍了一种使用Python的urllib2库进行网站备份文件扫描的方法，通过重写HTTP重定向处理来提升扫描准确性。作者测试了约3000个URL，并取得了不错的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我的上一篇文章讲到有扫描备份文件

看上去挺简单但是实现起来有点小复杂 = =

requests 会自动下载文件 urllib2 发现忘了重定向问题

于是加入了关于urllib2的跳转处理

例子

加入a的url是存在合法的 b的url备份不存在，但是b网站对不存在异常的url请求会自动跳转

于是阅读了urllib2的帮助文档后重写了一下

# coding = utf-8

import urllib2  
a = 'http://www.123.com/1.rar'
b = 'http://www.456.comzj.rar'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102Safari/537.36'}
class RedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):
        pass     
    def http_error_302(self, req, fp, code, msg, headers):
        pass  
try:
    opener = urllib2.build_opener(RedirectHandler)
    response = urllib2.Request(url=b,headers=headers)
    req = opener.open(response)
    print req.code
    if req.code == 200:
        print '200'
        metarar = req.info()
        sizerar = str(metarar.getheaders("Content-Length")[0])
        print sizerar
    else:
        print '302'
except:
    print '8888'

代码能实现对于网站的备份扫描，准确率还不错

采集了三千左右url进行测试

结果还不错，而且我用的是简洁版的字典，如果调整优化下字典或许能扫出来更多呢