Scrapy爬虫urlparse之urljoin() 必备

最新推荐文章于 2024-02-27 02:15:00 发布

转载最新推荐文章于 2024-02-27 02:15:00 发布 · 4.3k 阅读

python爬虫专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍了如何使用Python的urljoin函数将相对URL转换为绝对URL，通过具体示例展示了不同情况下的URL拼接规则，并提供了处理特殊情况的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先导入模块，用help查看相关文档

>>> from urllib import parse
>>> help(parse.urljoin)
Help on function urljoin in module urlparse:

urljoin(base, url, allow_fragments=True)
    Join a base URL and a possibly relative URL to form an absolute
    interpretation of the latter.

意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象

>>> urljoin("http://www.google.com/1/aaa.html","bbbb.html")
'http://www.google.com/1/bbbb.html'
>>> urljoin("http://www.google.com/1/aaa.html","2/bbbb.html")
'http://www.google.com/1/2/bbbb.html'
>>> urljoin("http://www.google.com/1/aaa.html","/2/bbbb.html")
'http://www.google.com/2/bbbb.html'
>>> urljoin("http://www.google.com/1/aaa.html","http://www.google.com/3/ccc.html")
'http://www.google.com/3/ccc.html'
>>> urljoin("http://www.google.com/1/aaa.html","http://www.google.com/ccc.html")
'http://www.google.com/ccc.html'
>>> urljoin("http://www.google.com/1/aaa.html","javascript:void(0)")
'javascript:void(0)'

规律不难发现，但是并不是万事大吉了，还需要处理特殊情况，如链接是其本身，链接中包含无效字符等

url = urljoin("****","****")<br><br>### find()查找字符串函数，如果查到：返回查找到的第一个出现的位置。否则，返回-1<br>if url.find("'")!=-1:<br>    continue  <br><br>### 只取井号前部分<br>url = url.split('#')[0]<br><br>### 这个isindexed()是我自己定义的函数，判断该链接不在保存链接的数据库中<br>if url[0:4]=='http' and not self.isindexed(url):<br><br>    ###newpages = set(),无序不重复元素集<br>    newpages.add(url)

原文地址：https://www.cnblogs.com/phil-chow/p/5347947.html