python爬虫urllib库学习(源码)

本文介绍了Python的urllib库在爬虫中的应用,包括如何构造复杂请求、使用cookie以及解析URL。示例代码展示了如何创建request对象、处理HTTPCookie及使用urlparse进行URL解析。
部署运行你感兴趣的模型镜像
####urllib库的使用
import urllib.request
import http.cookiejar
from urllib.parse import urlparse

# 复杂请求构造request对象;
# respons = urllib.request.Request("https://www.python.org")
# response=urllib.request.urlopen(respons)
# print(response.read().decode("utf-8"))

###cookie的使用
# url="http://www.baidu.com"
# cookie=http.cookiejar.CookieJar()
# handlr=urllib.request.HTTPCookieProcessor(cookie)
# opener=urllib.request.build_opener(handlr)
# result=opener.open(url)
# # for item in cookie:
# #     print(item.name+"="+item.value)
# #respons=urllib.request.Request(url=url,)
# print(result.read())

#####urlprase的使用   !!!!注意引用的方式
# res=urlparse("https://www.sogou.com/web?ie=UTF-8&query=python+from..import+%E5%92%8C%E7%9B%B4%E6%8E%A5import+%E7%9A%84%E5%8C%BA%E5%88%AB")
# print(type(res),res)

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值