【开源】AigoTools —— 自动收录网站的导航站模板

在管理导航站点时，我们常常面临各种挑战：手动创建和更新站点信息费时费力，国际化需求，SEO 优化难以实施，以及图片存储方案不够灵活。针对这些问题，我们推出了 AigoTools，让导航站点管理变得更加高效、便捷。

项目简介

AigoTools 是一个强大而便捷的工具，帮助您轻松创建和管理导航站点。内置站点管理和基于Ai的自动收录功能，让您能更高效地管理站点信息。同时，AigoTools 支持多语言、暗色/亮色主题切换，以及 SEO 优化，确保您的站点无论在视觉效果还是搜索表现上都表现出色。此外，AigoTools 提供多种图片存储方案，包括本地 MinIO、AWS S3 和腾讯云 COS。我们的目标是让用户只用关注收录网站本身，收录和管理过程都交给程序解决。

网站详情

项目链接

功能

1. 站点管理
   • 简洁直观的界面，轻松添加、编辑、删除导航站点，快速组织和管理内容。
2. 站点信息自动采集
   • Playwright 截图：自动生成目标网站截图，展示视觉效果。
   • Jina 采集：高效抓取和处理网站数据，确保信息全面。
   • OpenAI 总结：利用自然语言处理技术生成网站信息摘要，快速了解内容。
3. 用户管理（Clerk）
   • 基于Clerk的用户体系，完善的用户认证、和管理功能。
4. 国际化
   • 支持中/英语言界面切换。
5. 暗色/亮色主题切换
   • 提供暗色和亮色主题，用户可根据偏好自由选择。
6. SEO 优化
   • 自动提取网页SEO信息
   • 提供sitemap生成。
7. 多种图片存储方案
   • 本地 MinIO：本地服务器存储
   • AWS S3：亚马逊云存储
   • 腾讯云 COS：腾讯云存储
8. 开源的UI设计稿
   • 我们同时开源了本项目的设计稿，欢迎用户使用本项目的UI自己的网站。

部署

本项目包含导航站主体（packages/aigotools）和收录服务（packages/crawler）两个部分，可以通过zeabur等托管服务部署，也可以在使用docker-compose直接在本地部署。

前置准备

• 前往 https://clerk.com/ 创建 application，并添加一个用户作为登录管理后台的管理员。
• 申请好OpenAI apiKey和jina apiKey，它们会在收录网站时使用
• 部署好mongodb、redis数据库

本地部署

1. 克隆仓库

git clone https://github.com/someu/aigotools.git
cd aigotools

2. 配置环境变量
   拷贝packages/aigotools和packages/crawler下的.env为.env.prod，修改两个配置文件。

cp packages/aigotools/.env packages/aigotools/.env.prod
cp packages/crawler/.env packages/crawler/.env.prod

3. 启动项目

docker-compose up -d

注意：如果采用minio存储图片，第一次启动项目时，minio的鉴权配置可以先不填。运行项目，进入minio管理后台创建Bucket、ACCESS_KEY和SECERT_KEY，开启Bucket的公开读权限，并将更新到配置文件中再重新启动项目。

开发

1. 克隆仓库

git clone https://github.com/someu/aigotools.git
cd aigotools

2. 安装依赖

pnpm i

3. 配置环境变量
   拷贝packages/aigotools和packages/crawler下的.env为.env.local，修改配置文件中内容。

cp packages/aigotools/.env packages/aigotools/.env.local
cp packages/crawler/.env packages/crawler/.env.local

4. 启动项目
   分别进入packages/aigotools和packages/crawler。

pnpm run dev

项目地址

https://github.com/someu/aigotools