python 访问的时候加上头域

最新推荐文章于 2024-12-31 15:32:41 发布

疯狂的球球球

最新推荐文章于 2024-12-31 15:32:41 发布

阅读量503

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/shaowei213/article/details/38272083

python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何利用Python的urllib2库进行网页爬取，并通过设置代理服务器及请求头来解决常见的403 Forbidden错误。针对不同网站的具体实践案例，包括百度知道和优快云博客。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib2
from urllib2 import Request         
proxy_handler = urllib2.ProxyHandler({'http' : 'http://username:psw@url:port/'})   #设置代理
opener = urllib2.build_opener(proxy_handler);
urllib2.install_opener(opener)
#old_url='http://zhidao.baidu.com/'
old_url='http://blog.youkuaiyun.com/pleasecallmewhy/article/details/8925978'
req=Request(old_url)
#req.add_header('User-Agent', 'fake-client')
html =  urllib2.urlopen(req)
print html.read()
print 'aa'

当old_url为http://zhidao.baidu.com/ 百度知道的时候，可以顺利爬到源代码。

当old_url='http://blog.youkuaiyun.com/pleasecallmewhy/article/details/8925978' 为csdn博客的时候就会提示urllib2.HTTPError: HTTP Error 403: Forbidden 拒绝执行。这时候就需要加上

req.add_header('User-Agent', 'fake-client')

在req中加入特定的Header就可以。自己做个笔记

此代码参考http://blog.youkuaiyun.com/pleasecallmewhy/article/details/8925978

一种访问方式

import urllib2        
proxy_handler = urllib2.ProxyHandler({'http' : 'http://username:psw@url:port/'})
opener = urllib2.build_opener(proxy_handler);
urllib2.install_opener(opener)
html =  urllib2.urlopen('http://zhidao.baidu.com/')
print html.read()

第二种访问方式（用Request的方式 ,可以设置头域等信息）

import urllib2
from urllib2 import Request         
<pre name="code" class="python">proxy_handler = urllib2.ProxyHandler({'http' : 'http://username:psw@url:port/'})    #设置代理权限
opener = urllib2.build_opener(proxy_handler);
urllib2.install_opener(opener)
#old_url='http://zhidao.baidu.com/'
old_url='http://blog.youkuaiyun.com/pleasecallmewhy/article/details/8925978'
req=Request(old_url)
html =  urllib2.urlopen(req)
print html.read()