####urllib库的使用 import urllib.request import http.cookiejar from urllib.parse import urlparse # 复杂请求构造request对象; # respons = urllib.request.Request("https://www.python.org") # response=urllib.request.urlopen(respons) # print(response.read().decode("utf-8")) ###cookie的使用 # url="http://www.baidu.com" # cookie=http.cookiejar.CookieJar() # handlr=urllib.request.HTTPCookieProcessor(cookie) # opener=urllib.request.build_opener(handlr) # result=opener.open(url) # # for item in cookie: # # print(item.name+"="+item.value) # #respons=urllib.request.Request(url=url,) # print(result.read()) #####urlprase的使用 !!!!注意引用的方式 # res=urlparse("https://www.sogou.com/web?ie=UTF-8&query=python+from..import+%E5%92%8C%E7%9B%B4%E6%8E%A5import+%E7%9A%84%E5%8C%BA%E5%88%AB") # print(type(res),res)
python爬虫urllib库学习(源码)
最新推荐文章于 2022-03-26 20:57:06 发布
本文介绍了Python的urllib库在爬虫中的应用,包括如何构造复杂请求、使用cookie以及解析URL。示例代码展示了如何创建request对象、处理HTTPCookie及使用urlparse进行URL解析。
部署运行你感兴趣的模型镜像
您可能感兴趣的与本文相关的镜像
Python3.8
Conda
Python
Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本
10万+

被折叠的 条评论
为什么被折叠?



