Minions项目安装与配置指南

Minions项目安装与配置指南

minions Big & Small LLMs working together 项目地址: https://gitcode.com/gh_mirrors/minions/minions

1. 项目基础介绍

Minions是一个开源通信协议项目，它允许小型设备上的模型与云端的前沿模型协同工作。该项目通过仅在本地读取长上下文，可以减少云成本，同时保持最小或无质量损失。Minions项目适用于希望通过设备与云端模型协作来提高效率和节省成本的开发者。

该项目主要使用Python编程语言实现。

2. 项目使用的关键技术和框架

• 通信协议：Minions协议是该项目核心，允许设备端模型与云端模型之间的有效通信。
• 本地模型服务器：支持ollama和tokasaurus两种本地模型服务器，适应不同的硬件配置。
• 云端模型服务：支持OpenAI、TogetherAI、OpenRouter、Perplexity等云端LLM服务。
• Pydantic：用于数据验证和设置配置文件的框架。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统中已安装以下依赖：

• Python 3.10-3.11（注意：Python 3.13不支持）
• Git版本控制系统
• 可能需要的依赖包（如pip）

安装步骤

第1步：克隆项目仓库

打开命令行，执行以下命令克隆Minions项目：

git clone https://github.com/HazyResearch/minions.git
cd minions

第2步：安装Python包

在项目目录下，运行以下命令安装Minions包：

pip install -e .

如果需要安装额外的MLX-LM或Cartesia-MLX包，请使用以下命令：

pip install -e ".[mlx]"

对于Cartesia-MLX，先安装基础包，然后按照下面的说明操作。

第3步：安装本地模型服务器

根据您的硬件配置选择并安装ollama或tokasaurus：

• 对于没有NVIDIA GPU的用户，安装ollama：

  # 安装ollama
  # ...
  
  # 启用Flash Attention（如果需要）
  launchctl setenv OLLAMA_FLASH_ATTENTION 1
  # 如果在Mac上，重启ollama应用
  

• 对于有NVIDIA GPU且需要运行Minions协议的用户，安装tokasaurus：

  pip install --index-url https://test.pypi.org/simple/ --extra-index-url https://pypi.org/simple/ tokasaurus==0.0.1.post1
  

第4步：配置云端模型API

设置至少一个云端LLM服务提供者的API密钥：

export OPENAI_API_KEY=<your-openai-api-key>
export OPENAI_BASE_URL=<your-openai-base-url>
# 如果需要使用不同的OpenAI API端点

# 对于Together AI
export TOGETHER_API_KEY=<your-together-api-key>

# 对于OpenRouter
export OPENROUTER_API_KEY=<your-openrouter-api-key>
export OPENROUTER_BASE_URL=<your-openrouter-base-url>

# 对于Perplexity
export PERPLEXITY_API_KEY=<your-perplexity-api-key>
export PERPLEXITY_BASE_URL=<your-perplexity-base-url>

# 对于Tokasaurus
export TOKASAURUS_BASE_URL=<your-tokasaurus-base-url>

# 对于DeepSeek
export DEEPSEEK_API_KEY=<your-deepseek-api-key>

请将<your-openai-api-key>等占位符替换为您实际获取的API密钥。

完成以上步骤后，您就可以开始使用Minions项目了。

minions Big & Small LLMs working together 项目地址: https://gitcode.com/gh_mirrors/minions/minions