python爬虫2：urllib使用

最新推荐文章于 2023-11-27 20:15:28 发布

goxingman

最新推荐文章于 2023-11-27 20:15:28 发布

阅读量229

点赞数

分类专栏： python 文章标签： python 爬虫开发语言

本文链接：https://blog.youkuaiyun.com/goxingman/article/details/121967114

版权

python 专栏收录该内容

8 篇文章

订阅专栏

本文详细介绍了使用Python进行网络爬虫的get和post请求，包括如何设置headers，以及urllib库的使用实例。重点涵盖了基础爬虫技术和高级实战技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注意，导包时候要导入urllib.request，只导urllib可能会报错

import urllib.request

#get请求
rep = urllib.request.urlopen("http://www.baidu.com")
print(rep.read().decode("utf_8"))

#post请求
a = bytes(urllib.parse.urlencode({}),encoding="utf-8")
rsp = urllib.request.urlopen("http://httpbin.org/post",data=a )
print(rsp.read().decode('utf-8'))

#增加headers的post请求
url="http://httpbin.org/post"
a = bytes(urllib.parse.urlencode({}),encoding="utf-8")
header = {"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36"}
req = urllib.request.Request(url=url,data=a,headers=header)
rsp = urllib.request.urlopen(req)
print(rsp.read().decode('utf-8'))