使用一个网站链接来按照目录下载存放网站资源,使用资源列表批量下载资源,自动分目录存放

python写一个自动在网页搜索资源并下载的程序 python写一个自动在网页搜索资源并下载的程序 从始至终就是一个懒虫的无理取闹~ 故事起因 该懒虫的拖延症使得自己不得不在国庆这个美好的日子里加班加点熬夜写开题报告以及ppt(ε=(´ο`*)))唉 说到开题报告,有一件事是不得不考虑的,那就是文献管理,需要自己在网上将所要引用的文章的引用文件下载下来导入管理器中(endnote),而这个懒虫竟然已经下载好了一百多篇论文!让它一个一个去搜下载引用... 阅读详情

适用于服务器渲染的页面,一次加载所有的资源

const fs = require('fs')
const path = require('path')
const https = require('https')
const http = require('http')
const url = require('url')
const cheerio = require('cheerio')

const targetUrl = 'https://example.com' // 指定下载的网站链接
const outputDir = './downloaded_resources' // 指定下载的资源存放目录

// 创建目录函数
function createDir(dirPath) {
  if (!fs.existsSync(dirPath)) {
    fs.mkdirSync(dirPath)
  }
}

// 下载文件函数
function downloadFile(fileUrl, filePath) {
  const file = fs.createWriteStream(filePath)
  const protocol = url.parse(fileUrl).protocol === 'https:' ? https : http

  return new Promise((resolve, reject) => {
    protocol
      .get(fileUrl, (response) => {
        if (response.statusCode !== 200) {
          reject(new Error(`Failed to download ${fileUrl}, status code: ${response.statusCode}`))
          return
        }

        response.pipe(file)

        file.on('finish', () => {
          file.close()
          resolve()
        })

        file.on('error', (err) => {
          fs.unlink(filePath)
          reject(err)
        })
      })
      .on('error', (err) => {
        fs.unlink(filePath)
        reject(err)
      })
  })
}

// 下载资源函数
async function downloadResources(url, outputDir) {
  try {
    const html = await new Promise((resolve, reject) => {
      const protocol = url.protocol === 'https:' ? https : http
      protocol
        .get(url, (res) => {
          res.setEncoding('utf8')
          let rawData = ''
          res.on('data', (chunk) => {
            rawData += chunk
          })
          res.on('end', () => {
            resolve(rawData)
          })
        })
        .on('error', (err) => {
          reject(err)
        })
    })

    const $ = cheerio.load(html)

    $('img, script, link[rel="stylesheet"], audio, video, source, object').each(async function () {
      let resourceUrl = $(this).attr('src') || $(this).attr('href') || $(this).attr('data')
      if (!resourceUrl) return

      const parsedUrl = new URL(resourceUrl, url)
      const relativePath = parsedUrl.pathname.slice(1)
      const filePath = path.join(outputDir, relativePath)
      createDir(path.dirname(filePath))

      console.log(`Downloading ${resourceUrl} to ${filePath}...`)
      await downloadFile(parsedUrl.href, filePath)
    })

    console.log(`All resources downloaded to ${outputDir}!`)
  } catch (error) {
    console.error(error)
  }
}

downloadResources(new URL(targetUrl), outputDir)

手动收集资源链接,批量下载到对应的目录

手动获取所有的资源

浏览器控制台执行,自动下载资源链接

;(() => {
  // 获取当前页面所有资源链接
  const getResourceLinks = () => {
    const links = new Set()

    // 获取所有图片链接
    document.querySelectorAll('img').forEach((img) => {
      if (img.src && !img.src.startsWith('blob:')) links.add(img.src)
    })

    // 获取所有视频链接
    document.querySelectorAll('video').forEach((video) => {
      video.querySelectorAll('source').forEach((source) => {
        if (source.src && !source.src.startsWith('blob:')) links.add(source.src)
      })
    })

    // 获取所有音频链接
    document.querySelectorAll('audio').forEach((audio) => {
      audio.querySelectorAll('source').forEach((source) => {
        if (source.src && !source.src.startsWith('blob:')) links.add(source.src)
      })
    })

    // 获取所有样式表链接 (CSS)
    document.querySelectorAll('link[rel="stylesheet"]').forEach((link) => {
      if (link.href && !link.href.startsWith('blob:')) links.add(link.href)
    })

    // 获取所有字体链接 (通过 @font-face 的CSS文件)
    const styleSheets = document.styleSheets
    for (const sheet of styleSheets) {
      try {
        const rules = sheet.cssRules || sheet.rules
        for (const rule of rules) {
          if (rule.style && rule.style.src) {
            const fontUrls = rule.style.src.match(/url\(["']?([^"')]+)["']?\)/g)
            if (fontUrls) {
              fontUrls.forEach((fontUrl) => {
                const url = fontUrl.match(/url\(["']?([^"')]+)["']?\)/)[1]
                if (!url.startsWith('blob:')) links.add(url)
              })
            }
          }
        }
      } catch (error) {
        // 忽略跨域样式表的错误
      }
    }

    // 获取所有脚本链接
    document.querySelectorAll('script').forEach((script) => {
      if (script.src && !script.src.startsWith('blob:')) links.add(script.src)
    })

    // 获取所有背景图片链接
    document.querySelectorAll('*').forEach((el) => {
      const bgImage = getComputedStyle(el).backgroundImage
      if (bgImage && bgImage !== 'none') {
        const urlMatch = bgImage.match(/url\(["']?([^"')]+)["']?\)/)
        if (urlMatch) {
          const url = urlMatch[1]
          if (!url.startsWith('blob:')) links.add(url)
        }
      }
    })

    return Array.from(links)
  }

  // 将资源链接保存为文本文件
  const downloadTextFile = (text, fileName) => {
    const blob = new Blob([text], { type: 'text/plain' })
    const a = document.createElement('a')
    a.href = URL.createObjectURL(blob)
    a.download = fileName
    document.body.appendChild(a)
    a.click()
    document.body.removeChild(a)
  }

  // 调用函数并获取资源链接
  const resources = getResourceLinks()
  console.log('资源链接:', resources)

  // 将资源链接转换为文本并下载为文件
  const fileContent = JSON.stringify(resources)
  downloadTextFile(`const urls = ${fileContent}`, 'resource-links.txt')
})()

获取所有链接资源下载到对应的目录中

将上一步获取的urls替换一下,执行

const https = require('https')
const fs = require('fs')
const path = require('path')
const { URL } = require('url')

// 创建目录(如果不存在的话)
const ensureDirectoryExistence = (filePath) => {
  const dirname = path.dirname(filePath)
  if (!fs.existsSync(dirname)) {
    fs.mkdirSync(dirname, { recursive: true })
  }
}

// 下载文件并保存到指定路径
const downloadFile = (url, dest) => {
  return new Promise((resolve, reject) => {
    const request = https.get(url, (response) => {
      // 处理重定向
      if (response.statusCode >= 300 && response.statusCode < 400 && response.headers.location) {
        return downloadFile(response.headers.location, dest).then(resolve).catch(reject)
      }

      // 检查是否请求成功
      if (response.statusCode !== 200) {
        return reject(new Error(`Failed to get '${url}' (${response.statusCode})`))
      }

      // 确保目录存在
      ensureDirectoryExistence(dest)

      const file = fs.createWriteStream(dest)

      // 监听流中的错误
      response.on('error', (err) => {
        fs.unlink(dest, () => reject(err)) // 删除不完整文件
      })

      // 将响应流写入文件
      response.pipe(file)

      // 确保文件写入完成后关闭文件
      file.on('finish', () => {
        file.close(() => resolve(dest)) // 关闭文件并完成Promise
      })

      // 处理文件流错误
      file.on('error', (err) => {
        fs.unlink(dest, () => reject(err)) // 删除未完成的文件
      })
    })

    // 请求错误处理
    request.on('error', (err) => {
      reject(err)
    })
  })
}

// 主函数处理 URL 数组
const downloadResources = async (urls, directory) => {
  for (const url of urls) {
    try {
      const urlObj = new URL(url)
      const relativePath = urlObj.pathname
      const destPath = path.join(directory, relativePath)

      // 下载并保存文件
      await downloadFile(url, destPath)
      console.log(`Downloaded: ${url} -> ${destPath}`)
    } catch (error) {
      console.error(`Failed to download ${url}:`, error)
    }
  }
}

// 示例 URL 数组和目录
const urls = [
  'https://profile-avatar.csdnimg.cn/a543dcdeef584c9f855695e5a65600ea_github_35631540.jpg',
  'https://i-blog.csdnimg.cn/direct/6d71ec4ddf7c47eca0fee08caec7bcd5.png'
]
const targetDirectory = './test'

// 开始下载
downloadResources(urls, targetDirectory)
  .then(() => {
    console.log('All downloads completed.')
  })
  .catch((error) => {
    console.error('Error downloading resources:', error)
  })
网页下载、拷贝整个网站 输入网站链接,下载网站下的js、css等所有的源码,拷贝整个网站。 立即下载

相关推荐

网站整站下载器(输入网址可下载整个网站的文件及目录)

只需输入网址,网站的所有文件以及目录结构即可全部下载 只需输入网址,网站的所有文件以及目录结构即可全部下载 只需输入网址,网站的所有文件以及目录结构即可全部下载 只需输入网址,网站的所有文件以及目录结构即可全部下载

下载整个网站

系统环境:win10所需工具:Cyotek WebCopy。

weixin_44027937的博客 8255

网站目录结构扫描,SEO优化工具

网站目录结构检测,SEO优化工具 1.通过http头来判定返回结果 2.可设置返回时间延时 3.支持自定义筛选返回数据 4.自带扫描目录,也可以用自己的,把扫描目录命名为ScanWebDirectory.ini放在程序同目录下即可 5.返回数据延时的,可以通过双击单个链接进行重新扫描

【转】wget下载整个网站或目录

转自:http://www.cnblogs.com/lidp/archive/2010/03/02/1696447.html   需要下载某个目录下面的所有文件。命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r --span-ho...

chuqingq的专栏 1167

怎么下载整个网站

NULL 博文链接:https://beyondjhf-2008.iteye.com/blog/583318

无法找到 Adobe PDF资源文件。“Acrobat PDFMaker“您必须具有”管理员”权限方可安装这些文件...错误怎么解决

本文的内容是无法找到 Adobe PDF资源文件。“Acrobat PDFMaker“您必须具有”管理员”权限方可安装这些文件...错误的解决办法。

西岸贤 1万+

如何下载一个网站的整个目录

最近需要下载一些资料,但是有的是一个文集夹的多个文件,于是想到了wget,看了看手册太多了,希望能快点查到,于是在网上查了一圈,在http://www.lslnet.com/linux/docs/linux-4504.htm找到了一个很好的解答: 可根据需要选择用下面的参数:$ wget -c -r -nd -np -k -L -p -A c,h www.xxx.org/pub

zg_hover的专栏 1万+

FC游戏Hack实战:从零开始修改游戏数据

本文以《忍者神龟3》为例,详细介绍了从零开始进行FC游戏Hack的完整实战流程。通过使用FCEUX模拟器和调试器,结合“递减法”精准定位生命值内存地址,并利用十六进制编辑器修改关键指令,最终实现“无限生命”效果。文章旨在引导读者理解游戏数据修改的核心原理与操作技巧,重温经典的同时深入计算机程序运行机制。

weixin_28366353的博客 361

使用wget 工具下载网站所有目录文件

摘要 在Windows下的用户都比较熟悉 Teleport,webzip等等网站下载工具,实际上linux中也完全可以做到这样的功能,那就是利用wget工具。wget是一个命令行工具,用来下载网络文件或者整个网站,它具有自动重试、断点续传、支持代理服务器等等强大的功能。它可以完全替代ftp客户端。wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。 常用命令参数 -c 断点续传(备注:使用断点续传要求服务器支持断点续传) -r

carcoon的专栏 1万+

Nginx/OpenResty目录穿越漏洞复现

Nginx/OpenResty目录穿越漏洞复现 漏洞背景: 2020年03月18日, 360CERT监测发现 openwall oss-security 邮件组披露了两枚漏洞。在特定配置下 nginx/openresty 存在 内存泄漏漏洞/目录穿越漏洞。 Nginx 是异步框架的网页服务器,也可以用作反向代理、负载平衡器和HTTP缓存。 OpenResty是一个基于nginx的Web平台,它对nginx增加LuaJIT引擎使其运行Lua脚本。 影响版本: nginx <= v1.17

小小猪的博客 1万+

Spring Boot应用Docker化实战:从Dockerfile编写到镜像推送完整流程

本文详细介绍了将Spring Boot应用Docker化的完整实战流程。从环境准备、项目审视,到编写高效且安全的Dockerfile,重点讲解了多阶段构建、镜像层优化、Spring Boot分层JAR等核心技巧,并涵盖了镜像构建、验证、调试以及最终推送至仓库并集成CI/CD的最佳实践,帮助开发者构建生产级Docker镜像。

butter的博客 1024

如何一键批量下载网页资源?这款 Chrome 神器还能完整保留原始目录结构

你是不是也遇到过这样的时刻:看到一个设计精美、交互流畅的网站,想把它的图标、背景图、字体文件甚至整套前端代码"搬"回本地好好研究,结果打开开发者工具一个个手动另存,忙活半小时只存下十几张图,目录结构还乱成一团?如果你经常和网页打交道,这大概是最令人抓狂的重复劳动之一。 **ResourcesSaverExt** 就是为解决这个问题而生的 Chrome 扩展:它可以在你打开任意网页时,自动收集页面

gitblog_00500的博客 882

用Python+PyTorch实现DQN无人机避障:从环境搭建到实战训练(附完整代码)

本文详细介绍了如何使用Python和PyTorch框架,基于深度强化学习中的DQN算法,实现一个无人机自主避障系统。内容涵盖从自定义环境搭建、DQN智能体核心算法实现,到完整的训练流程与超参数调优,并提供了可视化演示与进阶优化方向,为开发者提供了从理论到实践的完整指南。

kubernetes8ctl的博客 642

终极网页资源批量下载指南:一键保存完整目录结构

你是否曾经为了下载网页上的资源而烦恼?逐个保存图片、CSS和JavaScript文件不仅耗时费力,还容易破坏原有的文件夹层次。现在,通过ResourcesSaverExt这款强大的Chrome扩展程序,你可以轻松实现网页资源的批量下载,同时完美保持原始目录结构。 ## 网页资源下载的痛点与挑战 在日常工作中,我们经常需要收集网页素材、备份项目资源或分析网站架构。传统的手动下载方式存在诸多不便:

gitblog_01119的博客 740

【100%通过率】2023华为od机试C卷【电脑病毒感染】C语言 实现

一个局域网内有很多台电脑,分别标注为 0 ~ N-1 的数字。相连接的电脑距离不一样,所以感染时间不一样,感染时间用t 表示。其中网络内一台电脑被病毒感染,求其感染网络内所有的电脑最少需要多长时间。如果最后有电脑不会感染,则返回-1.

MISAYAONE的博客 1044

【AgentScope 2.0】01-不搭 demo,直接解剖一个生产级 Agent 平台:loser-agent 全链路地图

本文介绍生产级Agent平台loser-agent的完整请求旅程,从用户发消息到返回结果共七站:入口鉴权、灰度路由、Agent装配、模型路由、工具执行、持久化与流式响应。课程以真实源码为线索,深入剖析每一步实现逻辑,涵盖灰度发布、权限控制、HITL审批、多模态处理、状态持久化等核心能力。强调框架仅负责Agent运行时语义,平台自建管理请求生命周期中所有非框架部分,适合Java后端开发者系统掌握Agent工程化落地。

loser.with.m的博客 726

网页资源批量下载怎么保持目录结构?这款 Chrome 扩展三步搞定

你有没有遇到过这样的场景:收藏了一堆设计精美的网页,想离线保存下来慢慢研究;或者看中某个网站的图片素材、CSS 样式,想整体扒下来当参考——结果右键一个个"图片另存为",点了半小时,文件夹里却是一堆乱码命名的文件,结构全乱了。要是网页重做改版,之前存的东西基本就废了。 ResourcesSaverExt 就是冲着这个痛点来的:它是一个 Chrome 扩展,帮你一键把当前页面的所有资源抓下来,还自

gitblog_01009的博客 898

SAP-ABAP:SAP数据库视图的创建图文详解

在“短文本”字段中输入视图的描述。在“表/视图”字段中输入要基于的表名。如果视图基于多个表,可以在这里输入主表。点击“表/视图字段”按钮,选择要包含在视图中的字段。如果视图基于多个表,点击“关系”按钮来定义表之间的连接条件。在弹出的窗口中,选择要连接的表,并定义连接条件(例如。

baidu_35680696的博客 974

10分钟搞定:Chrome扩展如何智能批量下载网页资源并保持完整目录结构

还在为手动保存网页素材而头疼吗?每次都要逐个点击下载,不仅效率低下,还容易遗漏重要资源。今天介绍的这款Chrome扩展——ResourcesSaverExt,将彻底改变你的工作方式,让你在10分钟内掌握一键批量下载网页资源的专业技能。 ## 🤔 为什么传统下载方式如此低效 在日常工作中,我们经常会遇到这些令人困扰的场景: **设计师收集灵感素材时** - 看到优秀网站的设计元素,却无法快速

gitblog_00634的博客 816

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

SuckIT批量下载终极指南:自动化脚本实现多网站定时下载

SuckIT是一款强大的网站内容下载工具,专为需要批量下载和定时抓取网站内容的用户设计。这款开源工具采用Rust语言编写,能够递归下载整个网站的内容到本地磁盘,支持多线程并发下载和智能延迟设置,是数据备份、内容归档和离线浏览的理想选择。本文将详细介绍如何使用SuckIT实现自动化批量下载,并创建定时下载脚本来满足您的多网站下载需求。 ## 📦 SuckIT核心功能介绍 SuckIT的核心功能

gitblog_00992的博客 1119

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Gallery-dl终极指南:如何高效批量下载URL列表中的远程资源

Gallery-dl是一款强大的命令行工具,专为批量下载多个图片托管网站的图片画廊和资源集合而设计。无论是需要备份收藏的图片、下载漫画章节,还是批量保存社交媒体上的资源,这款免费工具都能帮你轻松实现高效下载。 ## 快速入门:安装与基础使用 ### 一键安装步骤 Gallery-dl支持多种安装方式,选择最适合你的方法: - **使用pip安装**(推荐): ```bash pip

gitblog_01195的博客 576

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

5分钟掌握Chrome资源批量下载神器的高效工作流

ResourcesSaverExt是一款专业的Chrome扩展工具,专为技术爱好者和效率追求者设计,能够一键批量下载网页所有资源文件并完美保持原始文件夹结构。无论是前端开发者需要收集设计素材,还是内容创作者需要备份网页资源,这款工具都能将原本繁琐的手动操作转化为高效的自动化流程,大幅提升工作效率。 ## 🎯 传统下载方式的痛点与效率革命 在网页开发、设计素材收集或网站备份的场景中,传统的手动

gitblog_00818的博客 795

ResourcesSaverExt:网页资源批量下载的终极完整解决方案

在当今数字化时代,网页开发者、设计师和内容创作者经常面临一个共同挑战:如何高效地批量下载网页中的各类资源文件。传统的手动下载方式不仅耗时耗力,还容易导致文件组织结构混乱。ResourcesSaverExt作为一款专业的Chrome扩展工具,提供了完整的一键下载解决方案,彻底改变了资源收集的工作流程。 ## 核心技术创新:智能目录结构还原 ResourcesSaverExt的最大亮点在于其智能目

gitblog_01068的博客 845

终极网页资源批量下载神器:3分钟搞定网站素材打包

还在为逐个下载网页资源而烦恼吗?ResourcesSaverExt这款免费Chrome扩展能够一键打包下载网页上的所有资源文件,完美保持原始文件夹结构。无论你是前端开发者、设计师还是内容创作者,这个工具都能让你的素材收集效率提升10倍以上! [![ResourcesSaverExt主界面](https://raw.gitcode.com/gh_mirrors/re/ResourcesSaverE

gitblog_01066的博客 828

网页资源批量下载终极指南:5倍效率提升的实战方案

ResourcesSaverExt是一款专为Chrome浏览器设计的网页资源批量下载扩展工具,能够一键下载页面中的所有图片、CSS、JavaScript等资源文件,同时智能保持原始文件夹结构。无论是前端开发学习、网站素材收集还是项目备份,这款工具都能显著提升工作效率。 ## 问题诊断:传统下载方式的效率瓶颈 在日常网页开发和资源收集工作中,我们经常面临以下典型问题场景: **场景一:电商网站

gitblog_00788的博客 691
上一篇: nodejs 使用kafka案例,node-red配置kafka案例,从安装配置kafka开始
下一篇: 基于丹摩DAMODEL部署Segment Anything 模型,智能分割一切图片
拿我格子衫来
拿我格子衫来 领域专家: 前端开发技术领域 领域专家: 前端开发技术领域
博客等级 码龄10年 6万+粉丝 858原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

拿我格子衫来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值