Python下urllib2应用

weixin_33830216

于 2018-03-12 11:12:00 发布

阅读量44

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/xmlbw/p/8548207.html

本文介绍了一种利用Python进行网页数据抓取的方法。通过使用urllib和urllib2库构造HTTP请求，发送数据并获取响应，实现了从指定网站抓取特定信息的功能。此过程涉及设置请求头、编码参数等步骤。

#coding=utf-8
import urllib,urllib2

url = 'http://www.xxx.com'
values = {'wd' : 'python', 
'language' : 'Chinese' } 
data = urllib.urlencode(values)
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
}
req = urllib2.Request(url,data,headers)
response = urllib2.urlopen(req)
html = response.read()

转载于:https://www.cnblogs.com/xmlbw/p/8548207.html