NearAI项目中的模型与提供商探索机制优化

NearAI项目中的模型与提供商探索机制优化

在NearAI项目的开发过程中，团队发现用户难以直观了解模型(如llama 70b)的托管位置。为此，项目组对模型和提供商的探索机制进行了系统性的优化设计。

现状分析

当前通过命令行工具查询模型列表时，仅显示基础信息：

namespace='near.ai' name='llama-3-70b' version='1.0.0'
namespace='near.ai' name='llama-3-70b-instruct' version='1.0.0'

这种输出方式存在明显不足：

1. 无法直观了解模型托管在哪些提供商
2. 缺乏模型的关键参数说明
3. 用户需要额外查询才能获取完整信息

优化方案

经过团队讨论，确定了以下改进方向：

1. 统一管理机制

采用单一管理项对应每个模型的设计原则，避免信息分散。每个模型记录包含：

• 名称(Name)
• 提供商列表(Providers)
• 详细描述/参数(Description/Details)
• 命名空间(Namespace)
• 版本号(Version)

2. 命令行工具增强

新的nearai models list或nearai registry --category=model list命令将输出结构化信息：

<模型名称> <提供商列表> <描述/详情> <命名空间> <版本号>

3. 元数据完善

在代理(agent)元数据中新增提供商相关参数，与AI Hub/Chat界面保持一致，包括：

• 提供商(Provider)
• 模型(Model)
• 温度参数(temperature)
• 最大令牌数(max_tokens)

4. 用户界面优化

在Hub UI的模型页面增加<提供商> <模型>关系表格，与现有的<名称> <命名空间> <版本>表格并列显示。

技术实现要点

1. 数据库设计：模型记录采用"near.ai"作为系统账户命名空间，版本号对应模型实际版本(如3.1、4o等)

2. 连接提示：当CLI连接到提供商时，显示明确的提示信息

3. 信息聚合：将分散在不同提供商的相同模型聚合显示，避免用户需要跨多个平台查询

这一系列优化显著提升了NearAI平台的易用性，使用户能够更高效地发现和选择合适的模型及提供商，为后续的模型部署和应用开发提供了更好的支持。