python 爬取网页的最基础三种方法

原创于 2017-08-01 21:49:38 发布 · 5.4k 阅读

6 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了使用Python的urllib2模块抓取网页内容的方法，包括直接请求、添加headers及利用cookies进行抓取的方式，并展示了如何获取HTTP响应状态码及页面内容长度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# coding:utf8
import cookielib
import urllib2
url = "http://www.baidu.com"
print "第一种方法"
response1 = urllib2.urlopen(url)
print response1.getcode()
print len(response1.read())


print "第二种方法"
request = urllib2.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib2.urlopen(request)
print response2.getcode()
print len(response2.read())

print "第三种方法"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print len(response3.read())

待续。。。。