[python] python中的urllib模块

最新推荐文章于 2024-06-21 10:44:38 发布

Eternally123

最新推荐文章于 2024-06-21 10:44:38 发布

阅读量295

点赞数

CC 4.0 BY-SA版权

分类专栏： old 文章标签： python urllib 网络爬虫

本文链接：https://blog.youkuaiyun.com/Eternally123/article/details/80003171

old 专栏收录该内容

62 篇文章

订阅专栏

本文介绍如何使用Python的urllib库来抓取网页内容，并展示了如何模拟浏览器行为进行请求，包括设置请求头信息、处理URL编码等关键技术点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.发送请求获取html页面

import urllib.request

response = urllib.request.urlopen("http://www.baidu.com/")

html = response.read().decode('utf-8')

print(html)

2.模拟浏览器发送请求获取html页面

指定请求头的方式

import urllib.request

url = "http://www.baidu.com/"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"
}
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request) #response是类文件对象

html = response.read().decode('utf-8')

添加请求头的方式

import urllib.request

url = "http://www.baidu.com/"
key = "User-Agent"
value = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"

request = urllib.request.Request(url=url)
request.add_header(key,value)
# request.get_header("User-agent,user_agent)

response = urllib.request.urlopen(request) #response是类文件对象

html = response.read().decode('utf-8')

3.打印响应相关信息

# response.getcode()  获取响应码
# response.geturl() 返回实际数据的url,防止重定向
# response.info() 响应报头信息

4.url中的中文编码问题

import urllib.parse

wd={"wd" : "阿里巴巴"}
encodedWd = urllib.parse.urlencode(wd)
# urllib.unquote(encodedWd)