python爬虫urllib库学习(源码)

本文介绍了Python的urllib库在爬虫中的应用,包括如何构造复杂请求、使用cookie以及解析URL。示例代码展示了如何创建request对象、处理HTTPCookie及使用urlparse进行URL解析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

####urllib库的使用
import urllib.request
import http.cookiejar
from urllib.parse import urlparse

# 复杂请求构造request对象;
# respons = urllib.request.Request("https://www.python.org")
# response=urllib.request.urlopen(respons)
# print(response.read().decode("utf-8"))

###cookie的使用
# url="http://www.baidu.com"
# cookie=http.cookiejar.CookieJar()
# handlr=urllib.request.HTTPCookieProcessor(cookie)
# opener=urllib.request.build_opener(handlr)
# result=opener.open(url)
# # for item in cookie:
# #     print(item.name+"="+item.value)
# #respons=urllib.request.Request(url=url,)
# print(result.read())

#####urlprase的使用   !!!!注意引用的方式
# res=urlparse("https://www.sogou.com/web?ie=UTF-8&query=python+from..import+%E5%92%8C%E7%9B%B4%E6%8E%A5import+%E7%9A%84%E5%8C%BA%E5%88%AB")
# print(type(res),res)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值