Was passt auf meine GPUs?
Geben Sie Ihre Rechner ein und sehen Sie, welche offenen Sprachmodelle sie halten können: auf einer Karte, auf einem PC oder über mehrere. Das läuft in Ihrem Browser, ohne Anmeldung und ohne Installation.
Ihre Rechner
Für NVIDIA-Karten unter Linux, die einzige Hardware, auf der SilentSwarm heute läuft. Ihre Eingaben bleiben in Ihrem Browser: Sie stehen in der Adresse der Seite hinter dem Zeichen #, das Browser nicht mitsenden. So können Sie das Ergebnis als Link teilen.
Was passt
Eine Schätzung für den Betrieb mit 4-Bit-Gewichten und dem Standardkontext von 4.096 Token, bewusst vorsichtig. Feinabstimmung braucht mehr Speicher. Der Koordinator prüft jede echte Ladung gegen die Rechner, auf denen sie laufen würde.
Was jede Modellgröße braucht
Auf einer einzelnen Karte, mit 4-Bit-Gewichten und dem Standardkontext. Über mehrere Karten behält jede zusätzlich etwas Speicher für sich.
| Modellgröße | Parameter | Speicher auf einer Karte |
|---|---|---|
| 8B | 8 Milliarden | 9,2 GB |
| 14B | 14 Milliarden | 12,6 GB |
| 32B | 32 Milliarden | 22,3 GB |
| 70B | 70 Milliarden | 41,8 GB |
Wie schnell wird es?
Dieses Werkzeug sagt keine Geschwindigkeit voraus, denn sie hängt von den Karten ab, und wir nennen nur, was wir gemessen haben. Das sind unsere veröffentlichten Werte für ein Modell mit 14 Milliarden Parametern auf alten Karten. Neuere Karten sind schneller; wir ergänzen sie, sobald unsere Messungen abgeschlossen sind.
| Aufbau | Personen | Tokens/s je Person | Tokens/s insgesamt |
|---|---|---|---|
| Zwei PCs: 2x GTX 1050 Ti und 2x GTX 1660 SUPER | 1 | 3,3 | 3,2 |
| Zwei PCs: 2x GTX 1050 Ti und 2x GTX 1660 SUPER | 8 | 1,6 | 11,6 |
| Ein PC: 2x GTX 1660 SUPER | 1 | 4,2 | 4,1 |
Diese alten Karten hielten das Modell mit einem Kontext von 3.586 Token, kürzer als die 4.096, von denen dieser Planer ausgeht; er zählt sie deshalb nicht als passend. Die Benchmark-Seite nennt Methode und Grenzen. Mehr zur Wahl der Hardware steht in LLM selbst hosten: Was reicht an Hardware?.