ReadableWebProxy 开源项目最佳实践教程

ReadableWebProxy 开源项目最佳实践教程

ReadableWebProxy Rewriting web proxy and archival tool. At this point, it just tries to download all the things. 项目地址: https://gitcode.com/gh_mirrors/re/ReadableWebProxy

1. 项目介绍

ReadableWebProxy 是一个功能强大的网络代理和存档工具。它不仅能够代理任意网页内容，还能够根据预定义的规则重写远程内容。项目的主要目标是实现网站内容的完全自定义，以及提取网站的实际内容主体，并以一个干净布局的形式呈现。此外，它还能修改页面上的所有链接，使其指向代理后的内部地址。

该项目已经发展成为一个完整的网页爬虫，能够存档整个网站到本地存储，并保留每个页面的多个版本，支持按配置的时间间隔进行整体刷新。

2. 项目快速启动

以下是快速启动 ReadableWebProxy 项目的步骤：

安装依赖

1. 安装 Redis。
2. （可选）安装 InfluxDB 和 Graphite。
3. 安装 PostgreSQL 10 或以上版本，并构建社区扩展。
4. 为项目创建数据库，并在数据库中安装 pg_trgm 和 citext 扩展。

配置项目

1. 将 settings.example.py 复制为 settings.py。
2. 填写 settings.py 中的所有设置。
3. 通过运行 build-venv.sh 设置虚拟环境。
4. 激活虚拟环境：source flask/bin/activate。
5. 初始化数据库：alembic upgrade head。

运行服务

1. 在另一台机器或会话中，运行本地抓取 RPC 服务器：run_local.sh（来自 AutoTriever）。
2. 运行服务器：python3 run.py。

运行爬虫（可选）

• 主爬虫启动：python runScrape.py。
• 原始爬虫启动：python runScrape.py raw。
• 爬虫周期性调度启动：python runScrape.py scheduler。

3. 应用案例和最佳实践

案例一：内容提取与重写

使用 ReadableWebProxy 可以提取网页的核心内容，并重写页面布局，使其更加简洁易读。

# 示例：提取网页内容并重写
from readable_web_proxy import Proxy

proxy = Proxy()
content = proxy.fetch_and_rewrite('http://example.com')
print(content)

案例二：网站存档

将整个网站存档至本地存储，并支持版本控制。

# 示例：存档整个网站
from readable_web_proxy import Archiver

archiver = Archiver()
archiver.archive_website('http://example.com')

4. 典型生态项目

• AutoTriever：用于管理 RPC 工作流的工具，可以配合 ReadableWebProxy 使用。
• Flask：作为 web 框架，用于构建 ReadableWebProxy 的 web 界面。
• RabbitMQ：用于实现 RPC 系统的消息队列。
• SaltStack：用于部署和管理 RPC 工作节点。

通过上述最佳实践，您可以更加有效地使用 ReadableWebProxy 来优化网页内容的阅读体验，并实现网站内容的存档与管理。

ReadableWebProxy Rewriting web proxy and archival tool. At this point, it just tries to download all the things. 项目地址: https://gitcode.com/gh_mirrors/re/ReadableWebProxy