如何用JavaScript一次性抓取网站图片、种子等资源(正则表达式的应用)

Python爬虫之如何抓取纯静态网站及其资源 遇到的需求 前段时间需要快速做个静态展示页面,要求是响应式和较美观。由于时间较短,自己动手写的话也有点麻烦,所以就打算上网找现成的。 中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。 由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是: 打开chrome的控制台,进入Application选项 找到Frames选项,找到html文件,再右键Save As... 手动创建本地的js/css/images目录 依次打开 阅读详情

其实就是一个html和一个js文件便可以轻松抓取。

以抓取图片为例子。

html文件:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <script src="photo.js">

    </script>
</head>
<body>
<script>
    var urlArr = s.match(/https?:\/\/[^:]+\.(jpg|jpeg|png|gif)/gi);
    for(var url of urlArr){
        var img = document.createElement("img");
        img.src = url;
        document.body.appendChild(img);
    }
</script>
</body>
</html>

在html文件中有一个photo.js文件。js文件怎么写呢?

var s="@@@@";

就一行代码,其中@@@@就是你去你要截取的网站的页面代码。

比如你要去千库网的首页所有照片的抓取,你就进入千库网首页,点击右键查看源代码,全选,进行拷贝到@@@@这个地方就行了。(不要@@@@,@@@@是用你复制的原代码替换的。)

这样就可以抓取了。



网站资源下载神器:图片抓取精灵 网站图片抓取精灵是一种自动化工具,设计用于从网站中提取图片、视频、音频等多媒体内容。它通过解析HTML和CSS代码,识别出网页中的资源链接,并实现快速的批量下载。对IT专业人士来说,图片抓取精灵不仅是开发和设计流程中的得力助手,也是数据分析师在数据挖掘项目中的重要工具。 阅读详情

相关推荐

爬虫技术要点:图片抓取与正则表达式解析

在当今数字化时代,爬虫技术已成为数据采集与分析不可或缺的工具。本章将带领读者进入爬虫的世界,先从基础开始了解爬虫的概念、工作原理以及基本的使用场景。HTML(HyperText Markup Language)是构成网页内容的骨架。它通过一系列的标签(tags)来定义网页的布局和内容。基本的HTML结构包含声明,<html>标签,<head>部分和<body>部分。<head>中包含了文档的元数据,如标题<title>,而<body>部分则包含了可见的页面内容,如段落。

weixin_35762258的博客 739

Torrents-Api:一键抓取主流网站的种子资源

Torrents-Api:一键抓取主流网站的种子资源 在数字版权内容管理日益严格的当下,获取高质量、合法的数字内容变得越来越重要。Torrents-Api 是一款开源的API服务,能够帮助用户从主流的种子网站如1337x、Piratebay等获取资源,为用户提供了方便快捷的内容检索途径。 项目介绍 Torrents-Api 是一个基于网络的API服务,它通过爬虫技术,从多个知名的种子资源共享网站抓...

gitblog_00206的博客 1327

一键提取网站页面内链接工具

这是一款自动获取网站内链工具,不可多得,实乃seor人员的福利,值得收藏!1、适用seo优化排名人员专用!2、省去大量手工整理时间,工具自动获取网站所有内链,方便快捷!3、将提取到的内链有计划性提交百度收录/蜘蛛收录,大大提高收录量!4、线程设置越大,获取内链速度越快!

JavaScript 中使用正则表达式验证 URL:一份完整指南

本文介绍了在JavaScript中使用正则表达式进行URL验证的方法。文章首先阐述了URL验证的重要性,包括数据完整性、用户体验和安全性等方面,并强调了客户端与服务器端验证的结合。随后详细解析了URL的结构组成,如协议、域名、路径等,并回顾了正则表达式的基础知识。重点展示了如何逐步构建一个实用的URL验证正则表达式,涵盖协议、域名、路径等各部分的匹配规则,并提供了在表单中实现验证的代码示例。最后还讨论了浏览器内置验证、HTML5输入类型等替代方案,以及服务器端验证的必要性。

weixin_42107409的博客 1682

Silvaco Atlas新手入门:从安装到第一个半导体器件仿真(附DeckBuild配置)

本文为Silvaco Atlas新手提供了一份从软件安装、DeckBuild环境配置到完成第一个半导体器件仿真的实战指南。通过构建一个经典的PN结二极管案例,详细讲解了Atlas仿真语句的语法、核心命令顺序以及结果调试与可视化方法,帮助初学者快速上手并理解TCAD仿真流程。

sql99的博客 333

GmSSL国密双证书实战:从生成到Nginx配置全流程

本文详细介绍了使用GmSSL工具生成国密双证书(签名证书与加密证书)并配置Nginx支持国密HTTPS(TLCP协议)的全流程。内容涵盖环境准备、自签CA创建、服务器双证书生成、Nginx单向/双向认证配置以及兼容性处理,为部署符合国密标准的HTTPS服务提供实战指南。

weixin_29276847的博客 480

js 验证图片格式

注意:这个函数只能验证文件扩展名是否符合要求,不能验证文件的内容是否为图片。如果需要验证文件内容,你可能需要使用更复杂的方法,如FileReader API或者使用一些库(如Jimp)来读取和处理图片。这个函数使用了一个正则表达式,它匹配以jpg、jpeg、png、gif或bmp结尾的字符串。如果文件名符合这个模式,函数就会返回true,表示这是一个有效的图片文件;此外,请注意处理可能出现的错误,例如文件不存在或无法读取等。在生产环境中使用时,你可能需要添加一些错误处理代码来确保程序的稳定性和用户体验。

qq_33240556的博客 1765

Verilog流水线CPU设计(超详细)

快把这一篇给更了

Ace Cheney的博客 7万+

JS正则——js 正则判断图片、文件

JS正则——js 正则判断图片、文件

qq_43201350的博客 600

MIKE21桥墩模拟实战:抠网格与构筑物法对比与选型指南

本文详细对比了MIKE21软件中抠网格法与构筑物法在桥墩模拟中的应用,包括操作步骤、适用场景及优缺点分析。通过实际案例数据展示两种方法的精度与效率差异,并提供选型决策树和常见问题解决方案,帮助工程师根据项目需求选择最优模拟方法。

weixin_42656416的博客 325

PADS VX 蛇形走线的设置方法与绕制

在PCB设计过程中,在等长的设置中是必须用到蛇形走线的,并且DDR模块也会经常使用到。因此掌握蛇形走线的设置方法对我们PCB高速板设计中有很大的帮助。下面介绍蛇形走线的设置方法与绕制。1.单根网络线的蛇形走线的设置:打开PADS router界面,点击“工具”→“选项”(快捷方式“Ctrl+Enter”),弹出“选项”窗口,选择“布线”界面下的“调整”,在“调整”界面,设置蛇形走线,倒角比例可以灵活设置。操作如下图所示:完成蛇形走线的配置后,快捷方式“F3”进行交互式布线时,单击右键选择“添加蛇形走线”,便

tianpu2320959696的博客 3395

JS-常用正则(自用)

【代码】JS-常用正则(自用)

Komorebi的博客 422

【汽车 OTA 】差分升级

汽车 OTA 差分升级,本质是在整包 OTA 的基础上,通过“只传变化”的方式,大幅减少下载数据量、时间和成本,是当前车端软件升级的主流方向之一。

天赐好车的博客 487

快速获取一个网站的所有资源,图片,html,css,js......扒站,仿站必备工具

今天介绍一款软件,可以快速获取一个网站的所有资源,图片,html,css,js...... 以获取某车官网为例 我来展示一下这个软件的功能. 输入网站地址和网站要保存的文件夹 如果网站名称后我们可以扫描一下网站, 以便我们更好的筛选资源,剔除不要的链接,添加爬取得链接 在这里也可以设置爬去的链接的深度和广度,相邻域名, 设置好了这些,就可...

知无涯 6万+

从点击图标到Activity亮屏:AMS、Zygote、ActivityThread的Binder协作之旅

Launcher通过Context调用 startActivity(),最终会通过 Activity.startActivity() 传递到 ActivityManager.getService(),获取AMS的Binder代理对象(IActivityManager)。这里的 attach() 方法通过Binder调用AMS的 attachApplication(),将新进程的 IApplicationThread 代理对象传递给AMS。这一步的Binder通信,是整个启动流程的关键转折点,值得细细品味。

大模型大数据攻城狮的专栏 1071

STM32 实现 4*4 矩阵键盘扫描(HAL库、标准库 都适用)

本文实现的代码是基于STM32HAL库的基础上的,不过标准库也可以用,只是调用的库函数不同,逻辑跟配置是一样的,按我这里的逻辑来配置即可。 1、键盘原理图: 原理举例:先把 F0-F7 内部拉高,这样这个8个引脚都是高电平,然后就进行列扫描。例如:假如按下3按钮,Y3 列扫描,把F4先拉低,然后读取F0-F3的状态,就会读出为1110,这就可 以知道是F3行拉低了,同时这时候是程序控制F4拉低的,这样就可以知道是F4列导致它转态变化了的,这样就可以定位出是F4列F3行的按键按下了;其他的列也是这样子扫描

lhh_qrsly的博客 7059

Python爬虫抓取纯静态网站及其资源

遇到的需求 前段时间需要快速做个静态展示页面,要求是响应式和较美观。由于时间较短,自己动手写的话也有点麻烦,所以就打算上网找现成的。 中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。 由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是: 打开chrome的控制台,进入Application选项 找到Frames选项,找到html文件,再...

python学习者的博客 4658

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

如何快速获取一个网站的所有资源 如何快速获取一个网站的所有图片 如何快速获取一个网站的所有css

今天介绍一款软件,可以快速获取一个网站的所有资源,图片,html,css,js...... 以获取某车官网为例 我来展示一下这个软件的功能. 输入网站地址和网站要保存的文件夹 如果网站名称后我们可以扫描一下网站, 以便我们更好的筛选资源,剔除不要的链接,添加爬取得链接 在这里也可以设置爬去的链接的深度和广度,相邻域名, 设置好了这些,就可以点击Copy按钮了 接下来就会看到完整的爬取过程,当前爬取的链接,爬取的结果 可以看到...

知无涯 4644

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

2024年最新Python爬虫抓取纯静态网站及其资源_python下载所有js css img

中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是:打开chrome的控制台,进入Application选项找到Frames选项,找到html文件,再右键Save As…手动创建本地的js/css/images目录依次打开Frames选项下的Images/Scripts/Stylesheets,一个文件就要右键Save As…这个办法是我当时能想到的最好办法了。

2401_84584796的博客 836

python requests爬取一个网站所有前端的css+js+图片资源

直接放代码 # -*- coding:utf-8 -*- # Author: cmzz # @Time :19-3-2 import re import requests import os def get_html(url): headers = { 'content-type': 'application/json', 'User-Agent': 'Mozilla/...

DETACH-MENT的博客 7849

Python爬虫抓取纯静态网站及其资源_python下载所有js css img(1)

不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!如果你之前有过其他语言的学习经历,相信你可以很快上手python这门语言。爬虫,按照我的理解,其实是一段自动执行的计算机程序,在web领域中,它存在的前提是模拟用户在浏览器中的行为。它的原理就是模拟用户访问web网页,获取网页内容,然后分析网页内容,找出我们感兴趣的部分,并且最后处理数据。在下面的代码实践中,用到了python知识、正则表达式等等,

m0_60575487的博客 464

Python爬虫抓取纯静态网站及其资源_python下载所有js css img

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。爬虫,按照我的理解,其实是一段自动执行的计算机程序,在web领域中,它存在的前提是模拟用户在浏览器中的行为。这个办法是我当时能想到的最好办法了。

m0_60607245的博客 976

如何利用Python抓取静态网站及其内部资源

来源:Mask 链接:https://segmentfault.com/a/1190000015880780遇到的需求前段时间需要快速做个静态展示页面,要求是响应式...

lsxxx2011的专栏 336

python爬取网页文本_python爬虫抓取纯静态网站及其资源

遇到的需求前段时间需要快速做个静态展示页面,要求是响应式和较美观。由于时间较短,自己动手写的话也有点麻烦,所以就打算上网找现成的。中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是:打开chrome的控制台,进入Application选项找到Frames选项,找到html文件,再右键Save As....

weixin_39897218的博客 638

python爬虫资源大全_Python爬虫抓取纯静态网站及其资源(开发篇)

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云 作者:程序员宝库( 想要学习Python?Python学习交流群:1039649593,满足你的需求,资料都已经上传群文件流,可以自行下载!还有海量最新2020python学习资料。 )进入开发有了上面的基础知识,我们就可以进入开发环节了。我们想实现的最终效果本...

weixin_39683025的博客 380
上一篇: JavaScript实现狂欢舞动的小球
下一篇: 用JavaScript实现打地鼠游戏
风或许自媒体
博客等级 码龄12年 76粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值