Exo：低成本打造异构 AI 集群

Unify your existing devices into one powerful GPU.

支持 iPhone、iPad、Android、Mac、NVIDIA、Raspberry Pi 等设备。

Exo 介绍

Exo 允许你将多个设备组合成一个分布式 AI 计算集群，支持 LLaMA、Mistral、LlaVA、Qwen、Deepseek 等模型，提供 ChatGPT 兼容 API，开源且无需复杂配置即可自动发现设备。

核心功能

✅ 广泛的模型支持

支持 LLaMA（MLX & tinygrad）、Mistral、LlaVA、Qwen、Deepseek 等。

✅ 动态模型分片

可根据设备资源自动划分模型，提高运行效率。

✅ 自动设备发现

无需手动配置，Exo 可自动检测并连接集群中的设备。

✅ 无主从架构

所有设备均为平等节点，支持 P2P 互联，无中心服务器。

✅ ChatGPT 兼容 API

仅需 一行代码修改 即可在本地硬件上运行 AI 模型。

✅ 异构设备支持

支持 不同算力的设备混合使用（如 GPU + CPU 组合）。

安装 Exo

系统要求

• Python ≥ 3.12

• （Linux + NVIDIA GPU 用户）需安装

• NVIDIA 驱动 (nvidia-smi)

• CUDA 工具包 (nvcc --version)

• cuDNN 库

安装步骤

git clone https://github.com/exo-explore/exo.gitcd exopip install -e .# 或使用 venv 安装source install.sh

快速上手

多设备自动发现

设备 1（如 Mac）

exo

设备 2（如 Linux）

exo

WebUI（ChatGPT-like）自动启动，访问：

• http://localhost:52415

ChatGPT API 端点：

• http://localhost:52415/v1/chat/completions

示例：API 调用

运行 LLaMA 3.2 3B

curl http://localhost:52415/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3.2-3b", "messages": [{"role": "user", "content": "What is the meaning of exo?"}], "temperature": 0.7 }'

运行 DeepSeek R1（671B）

curl http://localhost:52415/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-r1", "messages": [{"role": "user", "content": "What is the meaning of exo?"}], "temperature": 0.7 }'

运行 Llava 1.5 7B（多模态）

curl http://localhost:52415/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llava-1.5-7b-hf", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "What are these?" }, { "type": "image_url", "image_url": { "url": "http://images.cocodataset.org/val2017/000000039769.jpg" } } ] } ], "temperature": 0.0 }'

模型管理

• 默认存储路径：~/.cache/exo/downloads

• 自定义存储路径：

export EXO_HOME=/your/custom/path

• 代理下载（适用于 Hugging Face 受限地区）：

HF_ENDPOINT=https://hf-mirror.com exo

⚙️ 性能优化

Mac 用户优化指南：

1. 升级 macOS Sequoia

2. 优化 GPU 内存分配

./configure_mlx.sh

调试模式（日志级别 0-9）

DEBUG=9 exo

tinygrad 专属调试

TINYGRAD_DEBUG=2 exo

支持的计算框架

✅ MLX

✅ tinygrad

PyTorch（开发中）

llama.cpp（开发中）

网络发现

✅ UDP 自动发现

✅ 手动配置

✅ Tailscale

蓝牙 / 无线电（开发中）

P2P 连接方式

✅ gRPC

NCCL（开发中）

立即体验 Exo

exo run llama-3.2-3b --prompt "What is the meaning of exo?"

在本地设备上 免费运行大模型，探索分布式 AI 的无限可能！