python访问网页返回503错误

最新推荐文章于 2024-11-23 14:23:19 发布

原创最新推荐文章于 2024-11-23 14:23:19 发布 · 2.5w 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#urllib2 #python #代理IP #爬虫 #函数

python 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了解决Python爬虫中出现HTTP 503 Service Temporarily Unavailable错误的方法，包括检查header设置、使用代理及应对服务器拒绝服务的策略。

部署运行你感兴趣的模型镜像

Traceback (most recent call last):
  File "test.py", line 30, in <module>
    gethtml()
  File "test.py", line 13, in scanurl
    src = urllib2.urlopen(url).read()
  File "/usr/lib/python2.6/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib/python2.6/urllib2.py", line 397, in open
    response = meth(req, response)
  File "/usr/lib/python2.6/urllib2.py", line 510, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python2.6/urllib2.py", line 435, in error
    return self._call_chain(*args)
  File "/usr/lib/python2.6/urllib2.py", line 369, in _call_chain
    result = func(*args)
  File "/usr/lib/python2.6/urllib2.py", line 518, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 503: Service Temporarily Unavailable

1、若浏览器能打开响应网页，则是你的访问头header有问题，修改header或者采用我这一篇文章的方法(python获取代理(终极版本))，多个header随即使用
2、若浏览器也打不开，则一般会有两种可能，第一种是对方服务器被动式拒绝服务，比如对方服务器瘫痪，网络问题等，一般很快会被修复。第二种主动式拒绝服务，有可能是因为你短时间内多次访问服务器（一般爬虫会遇到这个问题），这种情况就要看对方服务器的拉黑时间，像我，之前被拉黑过12小时的。
最后说一句：时代在进步，爬虫最少也要用个代理，不要裸奔，这样很容易被“捉奸在床”的啦....