一个爬虫利用正则匹配处理子页面的方式

于 2022-03-29 20:01:21 发布
阅读量310 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hintll/article/details/123829937
本文介绍了一种利用正则表达式进行网页爬取的方法，包括定位子页面链接、访问并抓取数据的过程。适用于初学者了解如何用简单的正则表达式实现网页信息的抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写一个爬虫利用正则匹配处理子页面的方式：
就三个步骤;
1、利用正则匹配寻找子页面的位置
2、从定位的地址中获取到子页面的链接
3、利用函数访问子页面，从源代码中爬取数据

正则匹配子页面的地址就是利用正则匹配寻找到页面文字链接在源代码中的位置，这个可以用.*？匹配

获取子页面链接需要到一点html的知识
在这里插入图片描述

这个代码表示在HTML里面***就是页面中定位的子页面的标题
点击这个标题后就会触发html进入超链接，超链接的地址就是href后面的url地址
即新的URL=老的URL+href
然后再在新的URL中再次正则匹配我们需要爬取的内容就可以啦

hint=flag
关注
爬虫获取一个网站内所有子页面的内容
weixin_45354497的博客
09-19 4563
本文介绍了如何自动获取一个网站内所有子页面的所有所需内容的爬取，常用在训练大模型时所需的数据获取。
FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
最新发布
士多啤梨先生の博客
01-02 4015
FireCrawl 是一款开源的 AI 网络爬虫工具，专为处理动态网页内容、自动爬取网站及子页面而设计，支持多种数据提取和输出格式。
php 正则匹配所有爬虫,爬虫总结 && 部分正则匹配
weixin_39914863的博客
04-08 399
[导读]今天在整理本地资料时，挖掘出了早几年因工作需要用到爬虫的一些备注，分享下，如果能帮到一部分人，荣幸之至~工作流大致是：首先利用多线程,能过http协议连接对方网站，获取html字符串，可以用java.net包里的工具类或者其它开源包。接着通过正则表达式解析html标记，网上资源很多的可以搜一下也可以用开源包。这样一个基本的爬虫就实现了，剩下来的问题就是如何防止重复爬取网页，如何防止爬取其它...
爬取子页
weixin_33800463的博客
08-24 687
概述 在日常爬虫过程中，我们还要爬取当前页面的分页页面，这种情况下，普通爬虫方式已经不行了，所有今天来尝试子页面的爬取 开始工作 1.创建项目： scrapy startproject pqejym 复制代码2.创建爬虫器： cd pqejym scrapy genspider btdy www.btbtdy.net 复制代码3.打开PyCharm 通过PyCharm打开项目目录 4.设置sett...
Python爬虫之使用正则表达式匹配网页内容
sinat_34231101的博客
01-03 9001
Python爬虫，除了使用大家广为使用的scrapy架构外，还有很多包能够实现一些简单的爬虫，如BeautifulSoup、Urllib，在使用这些包时，有的网络因为比较复杂，比较难以找到自己想要的代码，在这个时候，如果能够使用正则表达式，将能很方便地爬取到自己想要的数据。 何为正则表达式 正则表达式是一种描述字符串排列的一种语法规则，通过该规则可以在一个大字符串中匹配出满足规则的子字符串。简单来...
Python爬虫运用正则表达式的方法和优缺点
10-16
当Python爬虫程序获取到网页内容后，会将HTML文档转换为字符串格式，然后利用正则表达式来匹配和提取信息。 下面的步骤是具体如何运用正则表达式进行爬虫数据提取的： 1. 首先，通过requests模块发起网络请求，获取...
js正则匹配出所有图片及图片地址src的方法
10-24
本文介绍了如何使用JavaScript正则表达式匹配页面中的所有图片标签及图片的src属性地址。 首先，要匹配页面中的所有图片，可以使用正则表达式`/*?(?:>|\/>)/gi`。其中，`表示匹配开始的img标签，`. *?` 表示匹配...
python爬虫；正则表达式爬虫
05-31
Python正则表达式爬虫是网络爬虫技术中一种常用的方法，它利用Python的`re`模块处理HTML或XML文档，提取所需的数据。在给定的示例中，爬虫的目标是获取一个旧书网站上的书籍信息，包括书籍名称、作者、价格和折扣...
【Python网络爬虫】python爬虫用正则表达式进行数据清洗与处理.txt
04-30
下面将详细介绍如何在Python爬虫项目中利用正则表达式来进行数据清洗与处理。 #### 正则表达式基础 正则表达式（Regular Expression）是一种用于描述字符组合模式的语言。通过定义特定的规则，我们可以利用它来...
玩转python爬虫之正则表达式
12-24
正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要从返回的页面内容提取出我们想要的内容就易如反掌了。 正则表达式的大致匹配...
正则表达式爬取网页内容的简单使用
专注于全栈开发领域
01-10 7196
对于网页的html标签要善于发现标签的一些特定写法有助于爬取正则表达式的书写，尤其一些独有的标签 列入  class、id、src等 # coding: utf-8 import re string = '秋高气爽' # 1.构造正则表达式 pattern = re.compile(r') # 2.findall()查找所有符合规则的字符串 rs = re.findall(pattern
正则匹配详解
热门推荐
qq_43283527的博客
02-01 2万+
1. 元字符 字符 描述 应用 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符 ‘n’ 匹配字符 “n”。’\n’ 匹配一个换行符。序列 ‘\’ 匹配 “” 而 “(” 则匹配 “(”。 . 匹配除换行符之外的任何单字符 ^ 匹配输入字符串的开始 例如 ^a ，表示 字符串必须以a开头，才会继续匹配，如果不是以a开始，则返回空 $ 表示匹配字符串的结尾 例如 a$ ，表示 字符串必须以a结尾，如果不是以a结尾，则返回空 \b 匹配一
php爬虫正则表达（一）
weixin_30657999的博客
01-28 2849
1. 下面怎么都匹配不上 后来发现也没 字符集gbk. $matches =array(); //$reg ="/ <span>��Ƭ��˾��<\/span>([^(<br)]*)<br \/>/"; $reg ="/<span>专辑名：<\/span>([^(br)]*)<br \/&g...
爬虫之正则表达式的应用爬取
weixin_30410119的博客
03-05 3386
Python 的 re 模块 在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。 有一点需要特别注意的是，正则表达式使用 对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀，示例： r'chuanzhiboke\t\.\tpython' re 模块的一般使用步骤如下： 使用compile()函数将正则表达式的字符串形式编译为一个P...
python编写爬虫获取区域代码-递归获取所有子页面
hdu09075340的博客
07-03 6444
上一篇文章用htmlparser写了一个java的获取区域的爬虫，觉得太笨重。发现python也可以实现这个功能。 这里就简单写一个用python3写的小爬虫例子 功能目标：对指定网站的所有区域信息进行筛选，并保存到文本中 思路：1、定义一个队列，初始向队列中put一个地址    2、判断队列是否为空，不为空调用getURL函数，为空则结束    3、getURL获取URL链接的内容，并
js match方法子匹配问题
wjbaiverson的专栏
02-09 3488
var ruletxt ='[][]'; var reg = /\[([^]]*)]/ig; var picattr = ruletxt.match(reg); //设置g全局的情况下不能直接获取字匹配值 for(var i=0; i //取字匹配值必须再次匹配     var rg = /\[([^]]*)]/i;     var rgvals =picattr[i].ma
爬虫实现二级链接页面信息爬取
u014229742的博客
07-11 1万+
一.scrapy环境搭建,参考我的博客–&amp;amp;gt;爬虫框架虚拟环境搭建 二.scrapy设置配置 1.设置用户代理 进入页面并刷新,进入开发者模式,点击选中一个网页,在Network-Headers中找到USER_AGENT,并复制就可以了. USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537...
Python爬虫实例：爬取某个网页的子网页
VM_Alike的博客
10-12 9176
笔者的目的是对已有的白名单进行细化处理。比如现在有常见域名名单（百度、腾讯、搜狐等等），笔者要做的是对每一个域名爬取其所有的子网站，比如腾讯对应的还有腾讯视频、微信、QQ、腾讯新闻等等。 笔者的输入是一个包含常见域名白名单的xls文件，输出是一个包含白名单细花后的所有网站的xls文件。代码如下： import tldextract, requests, xlwt, time, random,...
爬取的网页，获取子元素内容的方法
weixin_43957391的博客
03-02 1805
今天练习网络爬虫，爬取豆瓣电影Top 250，其中每部电影有排名、评分、电影名、导演等信息，分布在不同的标签下面，而每部电影的所有信息都在一个大的标签下，因此需要获取子元素的内容。查了一下只看到有人用循环嵌套的方法遍历子元素，感觉略麻烦，后来发现.contents属性可以方便地获取子元素内容，因此采用。 首先爬取第一页的内容，将所有电影的信息存入targets，用for循环遍历（使用break的目...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值