python urllib2三种爬虫方式

最新推荐文章于 2024-11-13 22:54:51 发布

原创最新推荐文章于 2024-11-13 22:54:51 发布 · 315 阅读

0 ·

CC 4.0 BY-SA版权

Python自动化开发专栏收录该内容

208 篇文章

订阅专栏

本文介绍了使用Python的urllib2模块向百度发送GET请求的方法，并展示了如何设置User-Agent及携带参数。此外，还演示了如何利用cookielib管理Cookies。

#__author__ = 'DouYunQian'
#coding=utf-8
import urllib2
url="https://www.baidu.com/s"
print u"第一种方法",type(u"第一种方法"),type("第一种方法")
response=urllib2.urlopen(url)
print response.getcode()
print len(response.read())
print "第二种方法"
request=urllib2.Request(url)
request.add_header("User-Agent","Mozilla/5.0")
request.add_data("{wd:'welcome'}")
response=urllib2.urlopen(request)
print response.code
print len(response.read())

print "第三种方法"
import cookielib
ck=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(ck))
urllib2.install_opener(opener)
response=urllib2.urlopen(url)
print response.getcode()

print len(response.read())