LLM selbst hosten: Was reicht an Hardware?¶
Ein Modell mit 14 Milliarden Parametern in 4 Bit braucht auf einer Karte rund 13 GB GPU-Speicher, eines mit 32 Milliarden rund 22 GB. Der Speicher entscheidet, ob ein Modell überhaupt läuft. Die Kartengeneration entscheidet, wie schnell.
Wie viel Speicher ein Modell braucht¶
Die Gewichte eines Modells müssen in den GPU-Speicher, dazu kommen die beiden Enden des Modells, Platz für den Kontext und etwas Speicher für die Karte selbst. Für 4-Bit-Gewichte und den Standardkontext von 4.096 Token ergibt das:
| Modellgröße | Gewichte in 4 Bit | Auf einer Karte |
|---|---|---|
| 8 Milliarden Parameter | 3,9 GB | 9,2 GB |
| 14 Milliarden | 7,2 GB | 12,6 GB |
| 32 Milliarden | 15,9 GB | 22,3 GB |
| 70 Milliarden | 34,2 GB | 41,8 GB |
Über mehrere Karten verteilt, behält jede zusätzlich etwas Speicher für sich. Was auf Ihre Rechner passt, zeigt unser GPU-Planer.
Das ist eine Überschlagsrechnung, keine Zusage. Ein langer Kontext braucht mehr, denn jedes Token einer Unterhaltung belegt Speicher. Auch weniger geht: Unser Modell mit 14 Milliarden Parametern lief auf Karten mit 4 und 6 GB, dann aber mit nur 3.586 Token Kontext.
Passt es auf eine Karte? Dann bleiben Sie dabei¶
Wenn das Modell in eine Ihrer GPUs passt, brauchen Sie kein verteiltes System. Ollama oder llama.cpp auf diesem einen Rechner sind einfacher und schneller. Das Verteilen kostet Zeit: In unserer Messung schaffte ein einzelner PC für eine Person 4,2 Tokens/s, zwei PCs zusammen 3,2 Tokens/s.
Interessant wird das Verteilen erst, wenn das Modell auf keine einzelne Karte passt oder mehrere Personen gleichzeitig arbeiten.
Was alte Karten leisten¶
Wir haben Qwen3-14B auf zwei gewöhnlichen PCs am selben Heimanschluss gemessen. Der eine hat zwei GTX 1050 Ti mit je 4 GB, der andere zwei GTX 1660 SUPER mit je 6 GB. Keine der Karten könnte das Modell allein halten.
| Gleichzeitige Personen | Tokens/s je Person | Tokens/s insgesamt | Erstes Token |
|---|---|---|---|
| 1 | 3,3 | 3,2 | 1,4 s |
| 4 | 2,5 | 9,5 | 3,4 s |
| 8 | 1,6 | 11,6 | 5,8 s |
Für eine Person ist das langsam, aber brauchbar. Interessant ist die letzte Zeile: Acht Personen zusammen bekommen deutlich mehr als eine, weil die Karten mehrere Anfragen auf einmal rechnen. Es sind kleine Stichproben auf alten Karten; die Benchmark-Seite nennt Methode und Grenzen.
Wo es hakt¶
Lange Prompts. Auf diesen Karten kostet jedes Token des Prompts etwa 40 ms. Ein Text mit 1.500 Token wartet also rund eine Minute auf das erste Wort der Antwort.
Das schwächste Glied. Mehrere Karten teilen sich das Modell, und jede Anfrage läuft durch alle. Die langsamste Karte bremst deshalb die ganze Kette.
Das Netz ist selten das Problem. Zwischen den beiden PCs kostete die Verbindung rund 5 ms je Token. Über das Internet-Relay des Koordinators waren es für eine Person etwa 10 % weniger: 2,8 statt 3,2 Tokens/s. Bei acht Personen war kein Unterschied messbar.
Faustregeln¶
- Prüfen Sie zuerst im GPU-Planer, was auf Ihre Rechner passt.
- Passt es auf eine Karte, nehmen Sie ein Werkzeug für einen Rechner.
- Passt es nicht, zählt der gemeinsame Speicher, und das Modell wird über die Karten verteilt.
- Planen Sie lange Prompts ein: Hier spüren alte Karten ihr Alter am stärksten.
Messwerte von neueren Karten veröffentlichen wir, sobald unsere laufende Messreihe abgeschlossen ist.
SilentSwarm ist in der Evaluierungsphase. Wir suchen Unternehmen, Einrichtungen und Einzelpersonen, die es auf eigenen Rechnern erproben möchten: Für die Evaluierung bewerben.