doctor：让LLM智能体更智能的网站索引系统

doctor：让LLM智能体更智能的网站索引系统

doctor Doctor is a system that lets LLM agents discover, crawl, and index web sites for better and more up-to-date reasoning and code generation. 项目地址: https://gitcode.com/gh_mirrors/doctor11/doctor

在现代人工智能系统中，智能体（Agent）的能力正不断被强化和扩展。其中一个关键需求是智能体能够理解和处理来自网络的最新信息。今天，我们为您介绍一个强大的开源项目——doctor，它能让大型语言模型（LLM）智能体发现、抓取和索引网站，以实现更准确、更新的推理和代码生成。

项目介绍

doctor是一个完整的系统，它提供了从网页抓取到数据存储的一系列功能。通过doctor，LLM智能体可以自动地获取网络上的数据，为推理和代码生成提供支持，确保信息的时效性和准确性。

项目技术分析

doctor的技术架构涉及多个组件和技术的集成。以下是对doctor技术层面的简要分析：

• 网页抓取：使用crawl4ai进行网页的抓取，自动发现链接并下载内容。
• 文本分块：通过LangChain实现文本的分块处理，为后续的嵌入向量生成做准备。
• 嵌入向量生成：利用OpenAI的litellm生成文本的嵌入向量。
• 数据存储：采用DuckDB存储文档数据和嵌入向量，支持向量搜索功能。
• 搜索服务：通过FastAPI提供一个Web服务，支持数据的搜索和检索。
• MCP服务器：让LLM智能体能够通过MCP服务器与doctor进行交互。

项目及技术应用场景

doctor的应用场景非常广泛，以下是一些典型的使用案例：

1. 信息检索：在大量文本数据中快速检索相关文档。
2. 代码生成：基于最新的网络资源自动生成代码。
3. 智能问答：为问答系统提供实时更新的知识库。
4. 内容推荐：根据用户行为和偏好，推荐相关网页内容。

项目特点

以下是doctor项目的几个主要特点：

• 全栈支持：从网页抓取到数据存储和搜索服务，doctor提供了完整的解决方案。
• 高度集成：整合了多种技术和工具，如LangChain、OpenAI和DuckDB，实现了高效的数据处理流程。
• 模块化设计：各个组件模块化，便于维护和扩展。
• 支持向量搜索：利用DuckDB的向量搜索功能，快速找到最相关的文档。
• 易于部署：通过Docker Compose简化了部署过程，用户可以快速启动和运行服务。

现在，让我们深入了解doctor的安装和使用方法，以及如何将其集成到LLM智能体中。

安装与部署

安装doctor非常简单，以下是基本步骤：

1. 克隆项目仓库。
2. 设置环境变量，包括OpenAI API密钥。
3. 使用Docker Compose启动服务。

使用方法

• 启动爬取任务：通过Web API的/fetch_url端点，提供URL开始爬取。
• 查看任务进度：使用/job_progress端点查看任务状态。
• 搜索文档：通过/search_docs端点搜索索引过的文档。

集成到LLM智能体

要使LLM智能体通过MCP服务器与doctor交互，只需将以下配置添加到智能体的MCP服务器设置中：

"doctor": {
    "type": "sse",
    "url": "http://localhost:9111/mcp"
}

通过上述方式，LLM智能体就可以利用doctor提供的功能，更有效地处理网络上的信息。

doctor作为一个功能全面的系统，不仅有助于提升LLM智能体的性能，也为研究人员和开发者提供了一个强大的工具，以探索人工智能在处理网络数据方面的更多可能性。不妨尝试使用doctor，看看它如何为您的项目带来价值。

doctor Doctor is a system that lets LLM agents discover, crawl, and index web sites for better and more up-to-date reasoning and code generation. 项目地址: https://gitcode.com/gh_mirrors/doctor11/doctor