python爬虫urllib库学习（源码）

最新推荐文章于 2022-03-26 20:57:06 发布

原创最新推荐文章于 2022-03-26 20:57:06 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#py

python 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Python的urllib库在爬虫中的应用，包括如何构造复杂请求、使用cookie以及解析URL。示例代码展示了如何创建request对象、处理HTTPCookie及使用urlparse进行URL解析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

####urllib库的使用
import urllib.request
import http.cookiejar
from urllib.parse import urlparse

# 复杂请求构造request对象；
# respons = urllib.request.Request("https://www.python.org")
# response=urllib.request.urlopen(respons)
# print(response.read().decode("utf-8"))

###cookie的使用
# url="http://www.baidu.com"
# cookie=http.cookiejar.CookieJar()
# handlr=urllib.request.HTTPCookieProcessor(cookie)
# opener=urllib.request.build_opener(handlr)
# result=opener.open(url)
# # for item in cookie:
# #     print(item.name+"="+item.value)
# #respons=urllib.request.Request(url=url,)
# print(result.read())

#####urlprase的使用   ！！！！注意引用的方式
# res=urlparse("https://www.sogou.com/web?ie=UTF-8&query=python+from..import+%E5%92%8C%E7%9B%B4%E6%8E%A5import+%E7%9A%84%E5%8C%BA%E5%88%AB")
# print(type(res),res)