python 3.5网页下载器

最新推荐文章于 2025-12-29 22:42:47 发布

原创最新推荐文章于 2025-12-29 22:42:47 发布 · 495 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了使用Python通过三种不同方式获取指定URL的HTTP响应状态码及页面长度：直接使用urllib.request.urlopen()；通过Request对象设置User-Agent再调用urllib.request.urlopen()；利用CookieJar配合HTTPCookieProcessor构造opener来访问。

import urllib.request
import http.cookiejar
url = "http://www.baidu.com"
print("第一种方法")
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))
print("-" * 20)

print("第二种方法")
request = urllib.request.Request(url)
request.add_header("user-agent", "Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("-" * 20)

print("第三种方法")
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))