urlparse和urlsplit---爬虫学习

Python3网络爬虫实战-22、使用Urllib:解析链接 Urllib 库里还提供了 parse 这个模块,它定义了处理 URL 的标准接口,例如实现 URL 各部分的抽取,合并以及链接转换。它支持如下协议的 URL 处理:file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、 sip、sips、snews、svn、sv... 阅读详情

urlparse和urlsplit:
有时候拿到一个url,想要对这个url中的各个组成部分进行分割,那么这时候就可以使用urlparse或者是urlsplit来进行分割。示例代码如下:

from urllib import request,parse

url = ‘http://www.baidu.com/s?username=zhiliao’

result = parse.urlsplit(url)
#result = parse.urlparse(url)

print(‘scheme:’,result.scheme)
print(‘netloc:’,result.netloc)
print(‘path:’,result.path)
print(‘query:’,result.query)
urlparse和urlsplit基本上是一模一样的。唯一不一样的地方是,urlparse里面多了一个params属性,而urlsplit没有这个params属性。比如有一个url为:url = ‘http://www.baidu.com/s;hello?wd=python&username=abc#1’,
那么urlparse可以获取到hello,而urlsplit不可以获取到。url中的params也用得比较少

urllib之urlopen和urlretrieve的headers传入以及parse、urlparse、urlsplit的使用 urllib库python的一个最基本的网络请求库,不需要安装任何依赖库就可以导入使用。它可以模拟浏览器想目标服务器发起请求,并可以保存服务器返回的数据。urllib之urlopen和urlretrieve的headers传入以及parse的使用 quote 起因: 在请求的url中,如果有汉字、空格或者特殊字符的时候,浏览器默认会将该字符进行urlencode()的处理,这样就可以正常的访问了!!! 阅读详情

相关推荐

【最全选型攻略-盘点篇】市面上有哪些靠谱的工业3D相机品牌?(双目、结构光、TOF、激光三角)

选工业3D相机,选最靠谱的品牌,选最Match你的产品,看这一篇就够了!

jiqishijueyingdi的博客 1万+

Python爬虫学习笔记——urllib库

urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。 一.urlopen函数 获得请求: from urllib import request resp = request.urlopen('http://www.baidu.com') print(resp.read()) urlopen函数的参数...

KeerZhou的博客 728

使用3sigma原则去除数据表中的极端值

本文使用3sigma解决数据表中出现的极端值问题,其中包括基本原理、使用原则(检验方法)、代码展示这3个部分

qq_51397866的博客 4380

urllib库(二)parse模块:urlparse()/urlsplit(),parse_qs()/parse_qsl(),urlunparse()/urlunsplit(),urlencode()

tt

Wjf7496的博客 2469

STM32F4三重ADC+DMA双缓冲实战:用CubeMX搞定同步采样,告别数据覆盖烦恼

本文详细介绍了STM32F4三重ADC与DMA双缓冲技术的实战应用,通过CubeMX配置实现同步采样,解决数据覆盖问题。内容涵盖硬件架构解析、CubeMX工程配置、双缓冲实现技巧及调试优化方法,适用于电机控制、电力监测等需要高精度多通道信号采集的场景。

weixin_30627341的博客 357

四十二、Fluent欧拉模型流化床模拟:从基础设置到颗粒动力学解析

本文详细解析了Fluent欧拉模型在流化床模拟中的应用,从基础概念到颗粒动力学设置全面覆盖。重点介绍了欧拉模型的颗粒温度概念、多相流配置技巧以及关键参数优化策略,帮助工程师准确模拟气固两相流动现象。通过实用案例演示了网格检查、求解器配置和边界条件设置的最佳实践。

weixin_27303545的博客 445

【python3】urlparse和urlsplit的使用与两者的区别

python3 urlparse和urlsplit的使用与两者的区别

weixin_47383889的博客 1841

YOLOv8_obb的C++工程部署实战:从模型转换到实时视频推理

本文详细介绍了YOLOv8_obb模型在C++环境下的完整工程部署流程,涵盖从PyTorch模型到ONNX格式的转换、基于ONNX Runtime的C++推理引擎搭建、旋转框后处理解析,以及实时视频流处理与性能优化。文章重点解析了模型转换的关键参数、环境配置的常见问题、核心推理代码的实现,并提供了实用的避坑指南,旨在帮助开发者高效完成YOLOv8_obb的C++工程部署。

weixin_29100927的博客 45

4.urlparse和urlsplit函数用法

首先补充一下关于url的组成部分 url是Uniform Resource Locator的简写,统一资源定位符 一个URL由以下几部分构成: scheme://host:post/path/?query-string=xxxx#anchor scheme:代表的是访问的协议,一般为http或https及ftp等。 host:主机名,域名,比如www.baidu.com port:端口号。当你...

weixin_41684949的博客 1235

少儿学编程系列--使用递归画出龙形曲线DragonCurve

龙形曲线(Dragon Curve) 龙形曲线(Dragon Curve)又叫分形龙,是一种自相似碎形曲线的统称,因形似龙的蜿蜒盘曲而得名 使用黄金比例画龙形曲线 根据黄金比例画一条龙曲线。每次递归,第一步向左转32.89度,移动0.74倍原距离;第二个递归步骤向右转46.99度,移动原来距离的0.55倍。请查看这个网页(https://larryriddle.agnesscott.org/ifs/heighway/goldenDragon.htm)了解关于龙形黄线数学的细节 龙形曲线效果 .

penriver的博客 2298

AUTOSAR从入门到精通-汽车电子电气架构(EEA)(二)

需求的传递并非完全是瀑布式的单向传递,而是双向的,只有被下游接受了的需求才是有效的需求,而且,下游是可以反向对上游提出需求的。当街区的设计完成之后,接下来要做的就是每栋建筑的详细设计,建筑的设计者发布的图纸中规定了房屋的主要结构、所在位置与周边环境的相互关系,以及屋中各种组件的位置与相互之间结合的关系,比如砖混结构、房屋的具体位置和朝向、卧室与客厅的相对位置与尺寸、马桶在卫生间中的位置等,还会对各种建筑材料的选取原则给出具体的标准,比如水泥的标号,钢筋的型号,各种电线的等级要求等等。

getusushu的博客 372

python url解析path_小白学 Python 爬虫(14):urllib 基础使用(四)

人生苦短,我用 Python如果我的文章对您有帮助,请关注支持下作者的公众号:极客挖掘机,您的关注,是对小编坚持原创的最大鼓励:)前文传送门:小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Linux基础入门小白学 Python 爬虫(4):前置准备(三)Docker基础入门小白学 Python 爬...

weixin_35949153的博客 274

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

用python写网络爬虫:3.urllib库进一步的使用方法

已经介绍了如何使用urllib库的requests模块发送简单的请求,如果想方便地实现更多东西,还得学习新的东西。

2301_76884115的博客 2004

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

网络爬虫之urllib库详解

网络爬虫之urilb库

Wang_87_76的博客 1505

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

爬虫实战入门教程(一)

第一天 什么是网络爬虫: 通俗理解:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并将数据收集起来,然后利用一定的规则提取有价值的数据。 专业介绍:百度百科 为什么用Python写爬虫程序: PHP 语言对多线程、异步支持不是很好,并发处理能力弱。爬虫是工具性程序,对速度和效率要求比较高。 Java 语言生态圈很完善,是 Python 爬虫最大的竞争对手。但是 Java 语言本身很笨重,代码量很大。重构成本比较高,任何修改会导致代码大量改动。爬虫经常要修改采集代码。 C/C++ 运行效率高。

诗酒趁年华 1119

Python之美[从菜鸟到高手]--urlparse源码分析

urlparse是用来解析url格式的,url格式如下:protocol :// hostname[:port] / path / [;parameters][?query]#fragment,其中;parameters一般用来指定特殊参数,使用的较少,至少我没怎么碰到,举几个链接:http://en.wikipedia.org/wiki/Robotics;Notes,http://en....

weixin_30786657的博客 219

Python学习——urlparse

urlparse模块

zhenjiangxzy的博客 940

python:urlparse学习

  urlparse模块主要是把url拆分为6部分,并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。 urlparse.urlparse(urlstring[, scheme[, allow_fragments]])    将urlstring解析成6个部分,它从urlstring中取得URL,并返回元组 ...

cfqcfqcfqcfqcfq的博客 293

爬虫学习-第四篇

首先感谢崔庆才博主的文章,以下信息都是在其文章与《python3网络爬虫开发实战》书中摘抄出的https://cuiqingcai.com """ Version: 0.1 Author: freshbin Date: 2019年8月23日 """ print("=================================处理异常 start======================...

freshbin000的博客 157

【Python】Python3网络爬虫实战-22、使用Urllib:解析链接

Urllib 库里还提供了 parse 这个模块,它定义了处理 URL 的标准接口,例如实现 URL 各部分的抽取,合并以及链接转换。它支持如下协议的 URL 处理:file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、 sip、sips、snews、svn、sv...

Python8年程序员教程分享 537

python网络爬虫学习笔记(五):urllib.parse库

urllib.parse库定义了处理URL的标准接口,例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理:file、ftp、gopher、hdl、http、https等。 1.urlparse() 该方法可以实现URL的识别和分段,这里先用一个实例来看一下: from urllib.parse import urlparse result = urlparse('http://www.baidu.com/index.html;user?id=5#comment') print(ty

逐梦er的博客 953

python的url是什么意思_【python解析URL的方法是什么?以下的三个程序才是正确的】- 环球网校...

【摘要】网络爬虫是爬虫的应用之一,那么python解析URL的方法是什么?以下的三个程序才是正确的,环球网校小编建议大家可以试着理解这些内容,也许对您的python学习有帮助,毕竟实践出真知,所以你要知道python解析URL的方法是什么?以下的三个程序才是正确的。在Python中的urlparse模块主要是用于解析url中的参数 对url按照一定格式进行 拆分或拼接1、python解析URL的方...

weixin_39833270的博客 864

爬虫基础学习-链接协议分析,熟悉相关函数

本文介绍了Python标准库urllib.parse中常用的URL处理函数。主要内容包括:1)urlparse和urlunparse用于解析与组合URL;2)urlsplit和urlunsplit用于分割与合并URL;3)urljoin用于将相对URL转为绝对URL;4)parse_qs和parse_qsl用于处理查询参数;5)quote和unquote用于URL编码解码。这些函数能够有效处理URL的各个组成部分(如scheme、netloc、path等),并支持参数解析和编码转换。

绘梨衣の沉默的博客。主要是CTF竞赛,网络安全,渗透测试,HVV,以及学习到的各种知识的分享 296

学习笔记(4):150讲轻松搞定Python网络爬虫-URl地址解析-parse和split使用

【为什么学爬虫?】        1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到!        2、如果是...

qq_39953480的博客 176

爬虫学习(5):parse解析链接(网址)

还是以解析优快云为例子吧,哈哈! 1.urlparse from urllib.parse import urlparse s=urlparse('https://www.csdn.net/?spm=1011.2124.3001.5359')#解析的网址 print(type(s),s)#打印类型和解析结果 看看打印结果: <class 'urllib.parse.ParseResult'> ParseResult (scheme='https', netloc='www.csdn.net

全栈川川 1665
上一篇: parse_qs函数---爬虫学习
下一篇: ProxyHandler处理器(代理设置)----爬虫学习
python_Allen
博客等级 码龄6年 2粉丝 70原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值