3,urllib http请求

最新推荐文章于 2024-08-17 14:15:26 发布

看我大白眼

最新推荐文章于 2024-08-17 14:15:26 发布

阅读量181

点赞数

本文介绍了使用Python的urllib库进行网络爬虫的基本操作，包括处理超时、GET请求及POST请求的方法，并提供了具体的代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1,超时处理

from urllib import request
for i in range(0,50):                                                              #爬取50次
    try:
        data = request.urlopen('https://read.douban.com/provider/all',timeout=1)   #爬取时间为一秒
        data=data.read()
        print(len(data))
    except Exception as e:                                                         #否则异常
        print("出现异常："+str(e))

2，get请求

from urllib import request
neirong="python"                                               #要搜索的内容，如果是中文，则用request.quote转码
url="http://www.baidu.com/s?wd="+neirong                       #get请求格式
req= request.Request(url)                                      #封装为get请求
data=request.urlopen(req).read()
fh=open("D:/新建文本文档.html","wb")                           #如果没有，自动创建
fh.write(data)
fh.close()

3，post请求

from urllib import request,parse
url="http://www.iqianyue.com/mypost"
mydata=parse.urlencode({
 "name":"shaufhias",                                     #输入的数据用urlencode设置
  "pass":"hfjukafhj"
}).encode("utf-8")
req=request.Request(url,mydata)
data=request.urlopen(req).read()
fh=open("D:/新建文本文档1.html","wb")
fh.write(data)
fh.close()