exo - 利用家用设备打造低成本的 AI 集群

更多AI开源软件：

小众AI - AI开源https://www.aiinn.cn/sources

该项目能够利用日常家用设备（如手机、笔记本电脑、台式机等）来搭建家庭 AI 集群。它通过整合现有的设备，无需昂贵硬件，即可构建一个低成本、可扩展的 GPU 计算集群，支持动态模型分区、自动发现设备、ChatGPT API、P2P 连接和多种推理引擎。

忘记昂贵的 NVIDIA GPU，将您现有的设备统一到一个强大的 GPU 中：iPhone、iPad、Android、Mac、Linux，几乎任何设备！

​

​

主要功能

• 广泛的模型支持：exo 支持不同的模型，包括 LLaMA（MLX 和 tinygrad）、Mistral、LlaVA、Qwen 和 Deepseek。

• 动态模型分区：EXO 根据当前网络拓扑和可用的设备资源对模型进行最佳拆分。这使您能够运行比在任何单个设备上更大的模型。