Allein rechnet sich die Abwärme nicht: Eine Kilowattstunde Strom kostet in der Regel mehr, als die Kilowattstunde Wärme wert ist, die daraus wird. Interessant wird es erst, wenn die Rechenarbeit selbst bezahlt wird. Die Wärme senkt dann die Kosten.
Vier alte GPUs in zwei Heim-PCs, von denen keine das Modell allein halten kann, lieferten mit Qwen3-14B 3,3 Tokens/s für eine Person und 11,6 Tokens/s insgesamt für acht. Das funktioniert, und es kostet etwas: Dasselbe Modell auf einem dieser PCs gab einer Person 4,2 Tokens/s.
Eine Stadt kann offene Sprachmodelle heute auf eigenen Rechnern betreiben, ohne dass Prompts ihr Netz verlassen. Dazu braucht sie Linux-Rechner mit NVIDIA-GPUs und jemanden, der den Betrieb übernimmt. Dokumentensuche und Zertifizierungen fehlen bei uns noch.
Ein Modell mit 14 Milliarden Parametern in 4 Bit braucht auf einer Karte rund 13 GB GPU-Speicher, eines mit 32 Milliarden rund 22 GB. Der Speicher entscheidet, ob ein Modell überhaupt läuft. Die Kartengeneration entscheidet, wie schnell.
Four old GPUs in two home PCs, none able to hold the model alone, served Qwen3-14B at 3.3 tokens/s to one user and 11.6 tokens/s in total to eight. It works, and it costs you something: the same model on one of those PCs gave one user 4.2 tokens/s.