Ein LLM über gemischte GPUs verteilen: Messwerte¶
Vier alte GPUs in zwei Heim-PCs, von denen keine das Modell allein halten kann, lieferten mit Qwen3-14B 3,3 Tokens/s für eine Person und 11,6 Tokens/s insgesamt für acht. Das funktioniert, und es kostet etwas: Dasselbe Modell auf einem dieser PCs gab einer Person 4,2 Tokens/s.
Der Aufbau¶
| Punkt | Wert |
|---|---|
| Modell | Qwen3-14B, Gewichte in 4 Bit, feinabgestimmt mit LoRA-Adaptern |
| PC 1 | 2x GTX 1050 Ti mit je 4 GB, hält die Schichten 0-16 |
| PC 2 | 2x GTX 1660 SUPER mit je 6 GB, hält die Schichten 17-39 und den Ausgabekopf |
| Netz | Beide PCs am selben Heimanschluss |
| Client | Streaming-Anfragen über die öffentliche API, 128 Token je Antwort |
Die Schichten werden danach verteilt, was jede Karte halten kann. Die ungleichen Karten sind also der Gegenstand des Tests, kein Hindernis.
Die Zahlen¶
| Personen | Tokens/s je Person | Tokens/s insgesamt | Erstes Token |
|---|---|---|---|
| 1 | 3,3 | 3,2 | 1,4 s |
| 4 | 2,5 | 9,5 | 3,4 s |
| 8 | 1,6 | 11,6 | 5,8 s |
In keinem dieser Läufe gab es Fehler. Es sind kleine Stichproben von 2 bis 16 Anfragen je Stufe. Die Benchmark-Seite nennt die Methode und alle Ergebnisse.
Warum acht Personen mehr bekommen als eine¶
Jede Anfrage muss durch alle Karten, eine einzelne Person wartet also auf die ganze Kette. Bei mehreren Personen laufen mehrere Anfragen als Stapel durch eine Karte, und die Gewichte werden nur einmal gelesen. Insgesamt leistet der Cluster dadurch mehr, auch wenn der Anteil jeder Person sinkt.
Auf alten Karten haben Stapel eine Grenze. Ein Stapel von 4 dauerte auf den GTX 1660 SUPER 671 ms statt etwa 120 ms für eine Anfrage, bis wir solche Aufrufe in 3 Zeilen aufgeteilt haben: Das brachte ihn auf etwa 211 ms.
Wo die Zeit bleibt¶
Für eine Person über die direkte Verbindung: Der erste PC rechnet 112 ms je Token, der zweite etwa 172 ms, und die Verbindung kommt mit etwa 5 ms dazu. Die Rechenleistung begrenzt, nicht das Netz.
Das Relay bestätigt es. Läuft alles über den Koordinator, kostet das eine Person etwa 10 %: 2,8 statt 3,2 Tokens/s. Bei acht Personen verschwindet der Unterschied, mit 9,9 Tokens/s in beiden Fällen, im früheren Lauf, der beides vergleicht.
Wo es aufhört¶
- Lange Prompts sind langsam. Etwa 40 ms je Prompt-Token: Ein Prompt mit 1.500 Token wartet eine Minute auf sein erstes Token.
- Auf kleinen Karten ist der Kontext klein. Auf den beiden 4-GB-Karten passen neben den Gewichten 3.586 Token. Längere Unterhaltungen werden abgelehnt.
- Für eine Person ist ein PC schneller, sofern das Modell überhaupt darauf passt. Verteilen lohnt sich für ein Modell, das auf keine Karte passt, oder für mehr Personen.
- Ein Anschluss sind nicht zwei Haushalte. Beide PCs teilen sich hier einen Heimanschluss. Zwei Haushalte in verschiedenen Städten kämen je Token einer einzelnen Person eine Laufzeit dazu.
Passt Ihr Modell auf eine Karte, nehmen Sie ein Werkzeug für einen Rechner. Der Vergleich sagt welches und wo diese Werkzeuge schlicht besser sind.
SilentSwarm ist in der Evaluierungsphase. Wir suchen Unternehmen, Einrichtungen und Einzelpersonen, die es auf eigenen Rechnern erproben möchten: Für die Evaluierung bewerben.