diff options
| -rw-r--r-- | README.md | 57 |
1 files changed, 33 insertions, 24 deletions
@@ -8,30 +8,39 @@ Runs two A100 VMs concurrently — each serving a different model — with [Pi]( ## Architecture ``` - earth (local machine) - 192.168.3.2 / wg1 - ┌──────────────────────────────────────────────────────────────────┐ - │ │ - │ ┌─────────────┐ ┌─────────────┐ │ - │ │ Pi │ │ Pi │ │ - │ │ Nemotron 3 │ │ Qwen3 Coder │ │ - │ └──────┬──────┘ └──────┬──────┘ │ - │ │ OpenAI API │ OpenAI API │ - │ │ /v1/chat/completions │ /v1/chat/completions │ - └─────────┼────────────────────────┼──────────────────────────────-┘ - │ WireGuard wg1 │ WireGuard wg1 - │ 192.168.3.0/24 │ 192.168.3.0/24 - │ UDP :56710 │ UDP :56710 - ▼ ▼ - ┌──────────────────────┐ ┌──────────────────────┐ - │ VM1 (A100 80GB) │ │ VM2 (A100 80GB) │ - │ 192.168.3.1 │ │ 192.168.3.3 │ - │ hyperstack1.wg1 │ │ hyperstack2.wg1 │ - │ │ │ │ - │ vLLM :11434 │ │ vLLM :11434 │ - │ Nemotron-3-Super 120B│ │ Qwen3-Coder-Next 80B │ - │ (Mamba+MoE, AWQ-4b) │ │ (MoE, AWQ-4bit) │ - └──────────────────────┘ └──────────────────────┘ + FreeBSD physical host (earth) + ┌─────────────────────────────────────────────────────────────────────────┐ + │ │ + │ FreeBSD bhyve VM (isolation layer) 192.168.3.2 / wg1 │ + │ ┌───────────────────────────────────────────────────────────────────┐ │ + │ │ │ │ + │ │ tmux session │ │ + │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ + │ │ │ │ │ │ + │ │ │ window 0: pi-nemotron window 1: pi-coder │ │ │ + │ │ │ ┌──────────────────┐ ┌──────────────────┐ │ │ │ + │ │ │ │ Pi │ │ Pi │ │ │ │ + │ │ │ │ Nemotron-3-Super │ │ Qwen3-Coder-Next │ │ │ │ + │ │ │ └────────┬─────────┘ └────────┬─────────┘ │ │ │ + │ │ │ │ OpenAI API │ OpenAI API │ │ │ + │ │ │ │ /v1/chat/completions │ /v1/chat/completions│ │ │ + │ │ └───────────┼──────────────────────────┼────────────────────-┘ │ │ + │ │ │ │ │ │ + │ └──────────────┼───────────────────────────┼────────────────────────┘ │ + │ │ WireGuard wg1 │ WireGuard wg1 │ + └─────────────────┼───────────────────────────┼───────────────────────────┘ + │ 192.168.3.0/24 │ 192.168.3.0/24 + │ UDP :56710 │ UDP :56710 + ▼ ▼ + ┌──────────────────────────┐ ┌──────────────────────────┐ + │ VM1 (A100 80GB) │ │ VM2 (A100 80GB) │ + │ 192.168.3.1 │ │ 192.168.3.3 │ + │ hyperstack1.wg1 │ │ hyperstack2.wg1 │ + │ │ │ │ + │ vLLM :11434 │ │ vLLM :11434 │ + │ Nemotron-3-Super 120B │ │ Qwen3-Coder-Next 80B │ + │ (Mamba+MoE, AWQ-4bit) │ │ (MoE, AWQ-4bit) │ + └──────────────────────────┘ └──────────────────────────┘ ``` **WireGuard topology:** |