用python正则表达式提取网页的url

最新推荐文章于 2023-12-12 18:27:05 发布
最新推荐文章于 2023-12-12 18:27:05 发布 · 1.4k 阅读 · 0
文章标签：

#正则表达式 #Python

本文介绍了一种利用Python的正则表达式从网页中抓取URL的方法，并讨论了该方法在遇到特殊字符时可能存在的问题。作者通过示例代码展示了具体的实现过程。
部署运行你感兴趣的模型镜像
用正则表达式提取URL
import re
import urllib
url=raw_input()
s=urllib.urlopen(url).read()
ss=s.replace('\n','')
urls=re.findall('<a.*?href=.*?<\/a>',ss,re.I)
for i in urls:
print i


不过这样也有一点问题,如果"<a href=" 里面有用到javascript,且用到一个 "> " 小于号的话
就会匹配其他错误的URL,大家有什么更好办法不妨告诉我.

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

iteye_16691
关注
Python正则表达式提取网页URL的方法
DevAstro的博客
09-20 1285
Python提供了强大的正则表达式库re，通过使用正则表达式，可以方便地从网页文本中提取出所需的URL。本文将介绍如何使用正则表达式提取网页URL，并提供相应的源代码示例。，它的含义是匹配以"http://"或"https://"开头，并且后面跟着一个或多个非空白字符的字符串。接下来，我们定义一个函数，用于从网页文本中提取URL。函数的输入参数是网页文本，输出是一个URL列表。首先，我们需要导入Python的re模块，该模块提供了正则表达式的功能。函数，我们可以方便地从网页文本中提取出所需的URL链接。
python使用正则表达式提取网页URL的方法
10-24
主要介绍了python使用正则表达式提取网页URL的方法,涉及Python中urllib模块及正则表达式的相关使用技巧,需要的朋友可以参考下
Python 正则表达式提取URL中的Path
计算机视觉
10-24 6194
正则表达式： (?xi)\A # Skip over scheme and authority, if any ([a-z][a-z0-9+\-.]*:(//[^/?#]+)?)? # Path ([a-z0-9\-._~%!$&'()*+,;=:@/]*) Python代码： import re subject = 'http://www.regexcookbook.com/index.h
Python正则解析URL地址
很酷的站长的博客
12-12 1762
1、使用正则表达式提取URL中的协议。当使用Python来分析网络地址时，首先要把URL中的协议部分分开。可以使用re模块的findall函数来匹配正则表达式。import reprint(protocol) # 输出结果为 http2、使用正则表达式提取URL中的域名。URL中的域名部分可以通过正则表达式提取出来。import re
python正则匹配ip地址_对Python正则匹配IP、Url、Mail的方法详解
weixin_39678525的博客
11-25 285
如下所示："""Created on Thu Nov 10 14:07:36 2016@author: qianzhewoniuqusanbu"""import redef RegularMatchIP(ip):'''进行正则匹配ip，加re.IGNORECASE是让结果返回bool型'''pattern=re.match(r'\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0...
python提取url的正则表达式_python – 从HTML链接提取URL的正则表达式
weixin_31664931的博客
12-29 1334
如果你只是寻找一个：import rematch = re.search(r'href=[\'"]?([^\'" >]+)', s)if match:print match.group(0)如果您有一个长字符串，并希望其中的每个模式的实例：import reurls = re.findall(r'href=[\'"]?([^\'" >]+)', s)print ', '.join(ur...
python基础教程：基于Python正则表达式提取搜索结果中的站点地址
12-21
下面是一段简单的Python代码示例，展示了如何读取文本文件并使用正则表达式提取URL： ```python import re # 编译正则表达式模式 pattern = re.compile(r'([^\/].+?)') # 打开并读取文件内容 with open("e:/t3....
初学python爬虫，记录一下学习过程，正则表达式提取图片网址
12-23
本篇将详细介绍如何利用正则表达式（Regular Expression）从网页中提取图片链接，以实现基础的网络爬虫功能。 首先，我们导入所需的库。Python中的`re`库提供了对正则表达式的支持，而`requests`库则用于发送HTTP...
python正则匹配url_IP地址和URL的Python正则表达式
weixin_42205158的博客
01-12 203
我试图只提取包含以下格式数据的日志的IP地址和URL部分153.12.123.123 - - [13/Nov/2014:15:06:43 -0700] "GET /icons/AHPS/0.06.png HTTP/1.1" 123 1234 "http://198.123.123.123/index.html" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:33....
Python小白爬虫(二) _使用正则表达式获取页面中我们想要的数据（案例）
10-25
https://blog.youkuaiyun.com/qq_36051316/article/details/83375426 这个页面的案例，其实代码已经在页面上有了，这个只是方便哪些复制都不想复制的人。不过，这个东西拿到后就可以运行了，运行前记得导入相应模块 python -m pip install requests 这个是Python3
关于python匹配字符串中url的正则
JustZzer的博客
03-24 1555
最近爬虫爬取了一些标签里的href文本，里面什么都有，也有我要的跳转链接。但是正则匹配没学好，只能百度，百度的结果又不是很令人满意。 废话不多说，百度结果如下： import re pattern = re.compile(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+') # 匹配模式 string = "href='javascript:sendProblemForm('19
使用python和正则表达式获取url，及总结
uestcyao的专栏
08-14 9740
今天boss给了新需求，让我们根据之前的抓取网页的程序抓取所需的网页，然后再对该网页的源代码进行分析，获取指定标签的url。boss让我们先使用正则表达式和python去实现这个功能。 在程序编写的过程中遇到了很多的问题，首先来自于对正则表达式的学习，^这个符号表示某个字符必须在一个string的起始处，而$表示某个字符必须在一个String的结尾处。在弄的时候，以为^是表示String以^后面
pythonurl地址正则表达_在Django中URL正则表达式匹配的方法
weixin_39611047的博客
12-18 504
Django框架中的URL分发采用正则表达式匹配来进行，以下是正则表达式的基本规则：官方演示代码：from django.conf.urls import urlfrom . import viewsurlpatterns = [url(r'^articles/2003/$', views.special_case_2003),url(r'^articles/([0-9]{4})/$', view...
python-获取提取网页url爬虫学习（1）
让我写标题真是一脸懵~
12-28 867
学习
Python---对html文件内容进行搜索取出特定URL地址字符串，保存成列表，并使用每个url下载图片，并保存到硬盘上，使用正则re
xwbk12的博客
01-09 3847
Python—对html文件内容进行搜索取出特定URL地址字符串，保存成列表，并使用每个url下载图片，并保存到硬盘上，正则re 参考：http://blog.youkuaiyun.com/xwbk12/article/details/72734930 1、目标地址：https://xianzhi.aliyun.com/forum/topic/1805/ 如下图中的内容 对目标回包内容取出
python 正则表达式提取url
高压锅博客
08-26 6332
1. python 提取URL到数组中 import re if __name__ == "__main__": f = open(r"C:\Users\HuJun\PycharmProjects\pythonProject\daily_tesy\data.txt", "r", encoding="utf-8") data = f.read() reg = 'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9
python3-正则表达式(re)之获取网页全部url
热门推荐
车陂IT仔
04-16 1万+
有时候,我们需要获取网站的全部url,用作于其他测试 以sogoWeChat为例： import re import urllib.request response = urllib.request.urlopen("https://weixin.sogou.com/") html = response.read() tag = re.findall(r'<a href="([a...
python正则表达式 提取url
最新发布
12-12
Python正则表达式（Regular Expression，简称re）是一种强大的文本处理工具，可以用于从字符串中提取URL。以下是一个简单的例子，演示如何使用`re`模块来提取URL： ```python import re def extract_url(text): ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值