爬虫：csdn首页的超链接

最新推荐文章于 2025-04-23 11:34:02 发布

真你假我

最新推荐文章于 2025-04-23 11:34:02 发布

阅读量457

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/zhangzejia/article/details/79717067

python 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了一个简单的Python程序，用于从指定URL抓取所有链接，并去除重复项。使用requests库进行HTTP请求，通过正则表达式匹配目标链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import re
import requests
def getlink(url):
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36'}
    req=requests.get(url,headers=headers)
    data=req.text
    # print(data)
    #根据需求构建正则
    pat='(https?://[^\s)";]+\.(\w|/)*)'
    link=re.compile(pat).findall(data)
    #去重元素
    link=list(set(link))
    return link

url='https://www.youkuaiyun.com/ 

'
#获取对应网页中包含的链接网址
linklist=getlink(url)
for link in linklist:
    print(link[0])