一行JavaScript代码获取页面中的所有超链接地址

在线获取网页源代码 - 在线查看源代码 - 源文件查看工具 【工具】获取网页源代码! https://tools.rudon.cn/web/get-copyable-webpage/ 阅读详情

因为我喜欢收集Web开发类的网址,平时对网址就很敏感。

我总结了一下我收集网址的几个阶段:

1.纯手工阶段,傻傻的阶段。

在这个阶段,主要是收集一些在页面中展现出来的网址,就是说,如果网址出现在HTML注释中

导致没有展现出来的话,我是不关注的。还有就是一些超链接的网址,但是超链接的网址收集很麻烦

不能直接复制,在IE中我总是右键选择超链接的属性,打开属性框,从那里面复制网址。

后来感觉这样太慢了,想到了一个稍微方便的方法,那就是点击超链接,打开新窗口,然后复制地址栏中的

网址,这样比以前方便多了。

2.使用浏览器提供的右键复制功能来复制网址

后来在使用火狐和Chrome的过程中发现这两种浏览器都提供了一个右键菜单---“复制链接地址”

这个发现真是令我高兴极了,好像发现宝贝一样。这样不用打开新窗口也能复制地址了。

3.使用程序分析内容的半自动化阶段

后来遇到了一种情况,一个网页里面有一个列表,是一个各个语言的开发工具的列表,和相应的下载地址。

我很高兴,因为能找到这么多好东西,但是我突然想到一个问题,我使用手工去一个一个的复制,是不是有点浪费时间的

感觉呢?这时我想到了使用程序去抓取页面内容,然后提取网址出来。

我首先想到了CURL和WGET,因为这两个是在命令行下面经常使用的下载东西的工具。

但是,我更喜欢GUI下面的工具,这时候,我想到了PHP的插件----

Snoopy也可以抓取页面内容,并且提供了相应的获取超链接的接口。其实,我还想到了Python和Ruby,

一开始我并没有想到使用JavaScript,因为有一个观念束缚了我,那就是JavaScript不能读写文件,它的运行环境主要限制在浏览器中。

所以,在Web开发中能读写文件的编程语言肯定多半是服务器端的语言。

突然有一天,突然在脑子中闪现了一个想法,CURL和WGET的原理不就是下载文件,然后进行内容分析吗?

那我把要抓取的网址在浏览器中打开不也相当于下载下来了吗?这样的话,我就可以使用JS在在Chrome或者FF的控制台来分析页面的内容了啊。

于是,接下来 我就研究怎样使用JS来实现我的需求,毕竟我是做前端开发的,相对于PHP和Python来说,JavaScript才是我最熟悉的。

于是就有了今天的这些感想。

今天的目的不是要展示代码的牛逼,而是想记录一下感悟。

 

今天的收获是:不要思维定势,不要拘泥于一种解决方案,有时候我们可以使用我们自己最熟悉的技术和方法来解决遇到的问题,我相信这个方法也

是最快和最稳妥的解决方案。

 

下面贴上我写的代码:

 

 

document.body.innerHTML.match(/http:\/\/[^\s<>]*\b/g);

 

 

 

 

 

写的可能不符合你的需求,肯定也会有错误抓取和漏掉的,因为我只是大概的写了一下,是供自己娱乐使用的,至少比自己手工一个一个的去复制快多了,我使用想说的是代码是次要的,思路才是最重要的。

有思路的人使用任何编程语言都能写出来。

下面是2020-06-20补充的内容

7年之后,回过头来又看了一遍自己写的文章 感慨颇多。

又想到了一点 所以补充一下。

上面的方法主要针对的是页面纯文本里的超链接地址

如果网页里有很多的超链接 ,这里说的不包括文本网址。

只是说的是a标签的网址,想收集起来怎么办。

这种情况有更简单的方法:

1.使用

documet.getElementsByTagName("a")

document.querySelectorAll("a")

可以直接获取到所有的超链接,但是注意 这里获取的有些可能没有网址  只是一个锚链接 

就是href=#的链接,需要自己再做一次过滤处理。

2.更简单的那就是使用document.links 了

获取到超链接集合之后 只需要做一个遍历就能输出所有的超链接地址了。

下面附上输出所有超链接地址的代码:

let links=document.links;
let arr=[];
for (let i = 0; i < links.length; i++) {
  arr.push(links[i].href);
}
console.log(arr.join('\n'));

 

 

 

 

 

 

 

 

 

 

JavaScript获取input文本框参数,并通过超链接结合Javascript方法,传参数到Servlet 点击超链接就可以提交input文本框中的数据 JavaScript方法 function addHrefPara(obj){ var href = obj.getAttribute("href");//获取超链接路径 var areaCode=$("#chooseid").find("option:selected").data("areaCode"); //获取id为#c... 阅读详情

相关推荐

JS实现将所有超链接指向同一个页面地址

在有的营销网站页面上,我们会发现,网站上有很多的超链接,无论我们点击哪个超链接,它都是指向同一个页面地址,这种是如何做到的呢? 我们可以通过JS来达到这个效果,方法可能有很多种,这里我只介绍其中的一种。 实例代码 ...

猿小白的博客 1401

html链接vbs插件,URL 筛选小工具 提取网页中的超链接地址

使用方法:将下面的代码保存为jb51.vbs然后拖动你保存在本地的htm页面,拖放在这个vbs即可'备注:URL筛选小工具'防止出现错误On Error Resume Next'vbs代码开始----------------------------------------------Dim p,s,reIf Wscript.Arguments.Count=0 ThenMsgbox "请把网页拖到本...

weixin_39560064的博客 379

Win11下DCMTK的Visual Studio 2022配置教程

最近有个新需求,需要完成读取和解析DICOM数据相关的SDK

qq_45797625的博客 3264

Python获取当前页面内的所有链接的五种方法

本文讲述了 Python 获取当前页面内的所有链接的五种方法,分享给大家仅供参考,具体如下: # 利用 requests_html from requests_html import HTMLSession session = HTMLSession() url = 'https://www.baidu.com' r = session.get(url) print(r.html.links...

Waspvae的博客 1万+

Pytorch版deeplabv3+环境配置训练自己的数据集

参考:https://blog.youkuaiyun.com/qq_36766560/article/details/110009622?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161594607816780266214828%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=161594607816780266214828

Ring__Rain的博客 1万+

ESP32连接OneNet云平台实现多设备联动控制完整示例

通过esp32连接onenet云平台,实现远程设备间的智能联动控制,利用MQTT协议完成数据通信,esp32连接onenet云平台后可高效稳定地上传与下发指令,提升物联网系统响应速度与自动化水平。

weixin_42360733的博客 549

Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接,并下载这些URL链接的源代码...

通过 正则表达式 来获取一个网页中的所有的 URL链接,并下载这些 URL链接 的源代码 使用的系统:Windows 10 64位 Python 语言版本:Python 2.7.10 V 使用的编程 Python 的集成开发环境:PyCharm 2016 04 我使用的 urllib 的版本:urllib2 注意: 我没这里使用的是 Python2 ,而不是Pytho...

weixin_30254435的博客 1016

基于STM32的智能手环心率血氧体温监测系统(完整设计)

本文设计了一款基于STM32单片机的多功能智能手环系统,集成心率、血氧、体温实时监测功能,并支持运动数据管理与健康预警。系统采用MAX30102传感器实现心率血氧监测,DS18B20检测体温,ADXL345进行步数统计,通过OLED屏幕显示数据。研究通过低功耗硬件选型与模块化软件架构设计,实现了多参数同步采集、阈值预警及蓝牙数据传输功能。测试结果表明,系统在健康监测精度、续航能力及用户交互体验上均达到预期目标,为个人健康管理提供了实用解决方案。

3254968421的博客 703

浏览器中使用js获取所有下载链接

3. 按回车执行代码, 就会在控制台中显示出对应的链接, 拖动数据全选即可。2. 输入代码, 比如我们想要找到后缀为 'rmvb' 的下载链接。1. 在弹出的窗口中, 选择"控制台"# 打开浏览器的控制台窗口。

zhangzhibinshuai的博客 905

开源项目-智能算法中台管理系统

智能算法中台管理系统,系统主要有样本中心,算法中心,模型中心等模块

u010479989的博客 3004

Allegro Design Entry HDL(OrCAD Capture HDL)原理图是设计快速入门图文教程

Allegro Design Entry HDL是Cadence公司开发的原理图设计工具,也可与Allegro PCB设计工具无缝对接,虽然板级开发中不如Design Entry CIS(又名 OrCAD Capture CIS)的使用那么广泛,但是由于Design Entry HDL支持芯片的开发,所以有不少公司尤其是芯片背景公司,选择使用Design Entry HDL进行原理图设计。两个原理图开发工具的使用方法大同小异,本文简单介绍使用Allegro Design Entry HDL开始一个新的设计,

fydar的博客 4137

使用 JavaScript 的 HTML 页面混合、JavaScript 文件引用和 HTML 代码嵌入 3 种方式在 HTML 页面上打印出“点击我进入到百度首页”的超链接

查看本章节 查看作业目录 需求说明: 使用 JavaScript 的 HTML 页面混合、JavaScript 文件引用和 HTML 代码嵌入 3 种方式在 HTML 页面上打印出“点击我进入到百度首页”的超链接 前 2 种方式点击超链接后进入到百度首页,最后一种方式点击超链接后打印出字符串:“跳转成功” 实现思路: 创建站点,新建HTML页面,在 HTML 页面的 <body>标签中编写 JavaScript 脚本,在脚本中输出超链接 在站点内创建一个 js 文件夹,在 js

杨明金的博客 22万+

基于DRU-HVDC的构网型海上风电场环流机理仿真复现

本文介绍了基于DRU-HVDC的构网型海上风电场环流机理仿真模型的构建方法。主要内容包括: 完整的Simulink模型结构,包含主模型文件GFM_DRU_Main.slx和配置脚本GFM_DRU_Setup.m 系统参数设置,包括基础频率(20Hz)、电压基准值(690V)、功率基准值(2MVA)等 四种仿真场景配置:电压不平衡、相位不平衡、阻抗不平衡和频率不平衡 风力发电机(WT)子系统的详细构建步骤,包含电压源、输出阻抗和测量模块 变压器和DRU整流器的参数设置 该模型可用于研究构网型风电场的环流机理。

huanghm88的专栏 262

一段JS简单获取页面来源地址

之前在写ASM的时候要用到跳转,从A页进入B页后,经过各种操作后,提交成功跳转到成功提示页面,再从提示页面跳转会A页面。其实要实现也不难,最简单的方法是传参,可用传参必须修改大量的页面,因为这个A页面并非仅一个页面,而是可以从多个入口进入B页面,成功后再跳转回原来的入口。为了快速开发以及修改少量代码,我想到了在B页面用JS获取访问来源,从而实现客户的要求。以下是B页面JS代码的一个Demo:

太极拳 1万+

YOLO11改进|注意力机制篇|引入先验卷积注意力机制CPCA

YOLO11中添加先验卷积注意力机制CAPA

A1983Z的博客 2376

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Jquery获取地址栏参数,给页面所有超链接赋值参数

Jquery获取地址栏参数,给页面所有超链接赋值参数(自己项目所需,写下来做做笔记,其中有的内容是从网上收集的资料,并非原创,如有雷同,敬请谅解) 1、地址栏地址http://localhost/user?aaa=300&bbb=2002、Jquery获取地址栏地址(function($){ $.getUrlParam = function(name) {

xiao_yu_chi_xia_mi的博客 4517

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

JS获取上一访问页面URL地址——(上)

在之前的文章 http://blog.youkuaiyun.com/amberwu/article/details/72876635提过一嘴关于js获取浏览器上一浏览页面地址代码是document.referrer,今天看大神张鑫旭的文章,对这个问题做一个深层研究 。 文章参考自:http://www.zhangxinxu.com/wordpress/?p=5957 一. 介绍介绍 获取上一个页面的U

AmberWu 4万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

js 获取father_js子页面获取父页面数据

用JS或jquery访问页面内的iframe,兼容IE/FF 注意:框架内的页面是不能跨域的! 假设有两个页面,在相同域下. index.html 文件内含有一个iframe: XML/HTML代码 在iframe子页面获取父页面元素 代码如下: $.('#objld', parent.document);在父页面获取iframe子页面的元素 代码如下: $("#objid", documen...

weixin_28762271的博客 2127

用js加载页面内容 并获取当前url地址

有些页面元素不想让百度蜘蛛或别的爬虫获取,可以用js方法加载。 js写法: document.writeln("<ul>"); document.writeln("<li> <p>本网凡注明“稿件来源:本网原创”的所有作品。转载请必须同时注明本网名称及链接。</p></li>"); document.writeln("<li>...

xingnang2008的专栏 2541

JavaScript 地址信息与页面跳转

在JavaScript中,处理地址信息和页面跳转通常涉及到两种主要的技术:使用window.location对象和创建超链接(<a>标签)。window.location.protocol:返回URL的协议部分(如 "http:" 或 "https:")。window.location.hash:返回URL中#符号后面的部分(通常用于页面内的导航)。使用 window.location.href 进行页面跳转是最常见和直接的方法。window.location.href:返回完整的URL。

Cc040909的博客 502

js页面跳转(链接,超链接)

&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt;     &lt;title&gt;链接和超链接&lt;/title&gt; &lt;/head&gt; &lt;body&gt;     &lt;a href="http://www.baidu.com"&gt;链接--当前页面打开--相当于window.locati

sally18的博客 3万+
上一篇: 关于在IE中a标签设置绝对定位和宽高之后却点击没有反应的解决方案
下一篇: 访问网站时出现403 Forbidden的原因总结
浴火_凤凰
博客等级 码龄19年 409粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浴火_凤凰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值