Sitefetch项目安装与配置指南

Sitefetch项目安装与配置指南

sitefetch Fetch an entire site and save it as a text file (to be used with AI models). 项目地址: https://gitcode.com/gh_mirrors/si/sitefetch

1. 项目基础介绍

sitefetch是一个用于抓取整个网站并将其保存为文本文件的工具，便于与AI模型一同使用。该项目主要由TypeScript语言编写，同时也包含一些JavaScript代码。

2. 项目使用的关键技术和框架

• micromatch：用于匹配特定的页面路径。
• mozilla/readability：用于从网页中提取可读内容，忽略掉无关的HTML元素。
• TypeScript/JavaScript：项目的主要编程语言。

3. 项目安装和配置的准备工作及详细步骤

准备工作

在开始安装sitefetch之前，请确保您的系统中已经安装了以下环境：

• Node.js：确保您的系统中已经安装了Node.js环境，因为sitefetch是一个基于Node.js的工具。
• 命令行工具：您需要能够通过命令行工具（如终端或命令提示符）执行命令。

安装步骤

一、全局安装

全局安装sitefetch可以让您在任何位置使用该命令。

npm install -g sitefetch

或者，如果您使用的是pnpm：

pnpm install -g sitefetch

二、单次使用

如果您不想全局安装，也可以使用以下任一命令进行一次性使用：

bunx sitefetch

或者：

npx sitefetch

再或者：

pnpx sitefetch

三、使用示例

• 抓取整个网站并保存到文本文件：

sitefetch https://example.com -o site.txt

• 抓取网站并使用更高的并发数：

sitefetch https://example.com -o site.txt --concurrency 10

• 抓取特定页面的内容：

sitefetch https://example.com -m "/blog/**"

• 使用CSS选择器提取特定内容：

sitefetch https://example.com --content-selector ".content"

完成以上步骤后，您就可以开始使用sitefetch来抓取网站内容了。如果有任何问题，请参考项目的官方文档或通过社区寻求帮助。

sitefetch Fetch an entire site and save it as a text file (to be used with AI models). 项目地址: https://gitcode.com/gh_mirrors/si/sitefetch