Python天天美味(28) - urlopen

最新推荐文章于 2025-08-09 10:17:13 发布

转载最新推荐文章于 2025-08-09 10:17:13 发布 · 66 阅读

文章标签：

#python #数据结构与算法

本文介绍了Python中使用urllib模块进行网络编程的基本操作，包括如何通过urlopen获取网页内容及HTTP头部信息，如何设置和使用代理服务器等。这些知识点对于初学者理解和实践Python网络爬虫非常有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen( " http://www.baidu.com " ).read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen( " http://www.baidu.com " )
print doc.info()
print doc.info().getheader( ' Content-Type ' )

三、使用代理

1. 查看环境变量

print "" n " .join([ " % s =% s " % (k, v) for k, v in os.environ.items()])
print os.getenv( " http_proxy " )

2. 设置环境变量

import os
os.putenv( " http_proxy " , " http://proxyaddr:<port> " )

3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = { ' http ' : ' http://www.someproxy.com:3128 ' }
filehandle = urllib.urlopen(some_url, proxies = proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies = {})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies = None)
filehandle = urllib.urlopen(some_url)