python模拟浏览器访问网站_模拟400人打开同一个网页-优快云博客

本文介绍如何使用Python通过伪装浏览器的方式爬取网站内容，解决反爬虫和反盗链问题。通过修改HTTP头部信息，包括User-Agent和Referer字段，可以有效避免被目标网站拦截。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import os  
import urllib  
class AppURLopener(urllib.FancyURLopener):  
    version = "Mozilla/5.0"  
urllib._urlopener = AppURLopener()  
url = "http://blog.youkuaiyun.com/eastmount/article/details/44492787"  
content = urllib.urlopen(url).read()
open('test.html','w+').write(content)

伪装成浏览器访问
某些网站反感爬虫的到访，于是对爬虫一律拒绝请求
这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现

#…  
  
headers = {  
	'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  
}  
req = urllib2.Request(  
	url = 'http://www.youkuaiyun.com',  
	data = postdata,  
	headers = headers  
)  
#...

对付"反盗链"
某些站点有所谓的反盗链设置，其实说穿了很简单，

就是检查你发送请求的header里面，referer站点是不是他自己，

所以我们只需要像把headers的referer改成该网站即可，以cnbeta为例：

#...
headers = {
    'Referer':'http://www.cnbeta.com/articles'
}
#...