Ein 14B-Modell auf den GPUs, die Ihr Labor schon besitzt
Viele Gruppen haben einige Workstations mit Karten von 8 bis 24 GB und kein Budget für eine mit 80 GB. SilentSwarm verteilt ein Modell auf die vorhandenen Rechner, sodass sie gemeinsam Modelle bereitstellen und feinabstimmen, die keiner von ihnen allein halten könnte - auf Hardware, die Sie selbst betreiben.
Sie kaufen Kapazität für ein Unternehmen? SilentSwarm für Rechenkunden
Warum es zu einer Forschungsgruppe passt
Die Modelle, die sich zu untersuchen lohnen, sind den Karten der meisten Labore entwachsen. Die Differenz stundenweise zu mieten funktioniert - bis die Daten das Institut nicht verlassen dürfen oder die Fördermittel vor den Experimenten enden.
- Modelle, größer als jede einzelne Karte. Unser Benchmark-Modell Qwen3-14B läuft auf vier älteren GPUs mit 4 und 6 GB. Keine davon könnte es allein halten.
- Feinabstimmen, nicht nur chatten. LoRA-Feinabstimmung läuft auf derselben Aufteilung wie die Bereitstellung, mit Zwischenständen unterwegs und einem exportierten Modell am Ende. Eine Abschlussarbeit kann auf eigenen Daten trainieren, ohne Cloud-Konto.
- Daten, die bleiben, wo sie sind. Der Koordinator ist ein kleiner Server, den Sie selbst betreiben, und er braucht keine GPU. Prompts und Trainingsdaten bleiben auf Rechnern, die Sie betreiben - den Koordinator eingeschlossen.
- Zahlen zum Zitieren und Nachmessen. Jeder Benchmark, den wir veröffentlichen, nennt Hardware, Commit und Skript - Sie können ihn auf Ihrem eigenen Pool wiederholen.
Gemessen auf zwei PCs zu Hause
Qwen3-14B in 4 Bit, verteilt auf zwei gewöhnliche PCs an einem privaten Internetanschluss: im einen zwei GTX 1050 Ti mit je 4 GB, im anderen zwei GTX 1660 SUPER mit je 6 GB. Gemessen am 19.10.2026 über die öffentliche Chat-API.
Kleine Stichproben auf alten Karten: Die Zahlen zeigen die Größenordnung, keine Garantie. Die Benchmark-Seite nennt Methode, Rohdaten und Grenzen - auch die Minute Wartezeit bis zum ersten Token bei einem Prompt mit 1.500 Tokens.
Wo es passt - und wo etwas anderes besser ist
Jedes dieser Werkzeuge löst ein echtes Problem gut. Passt ein Modell auf einen Ihrer Rechner, ist ein Werkzeug für einen einzelnen Rechner schneller als jedes verteilte.
| Werkzeug | Gebaut für | Die richtige Wahl, wenn |
|---|---|---|
| SilentSwarm | Bereitstellung und LoRA-Feinabstimmung über unterschiedliche Rechner, in einem Raum oder in verschiedenen Gebäuden | das Modell auf keine Karte passt und Sie es trainieren wollen, nicht nur damit chatten |
| Ollama, llama.cpp | Ein komprimiertes Modell auf einem Rechner betreiben; llama.cpp kann eines auch über ein lokales Netz verteilen | das Modell auf einen Rechner passt oder Chatten in einem lokalen Netz genügt |
| vLLM | Schnelle Bereitstellung für viele Nutzer auf GPUs im Rechenzentrum | Sie moderne Karten mit genug Speicher haben und viel Last bedienen |
| exo | Die Geräte eines Heimnetzes zum Chatten bündeln | alles in einem Netz steht und Sie nur Antworten brauchen, kein Training |
| Petals | Ein öffentlicher Schwarm, der sehr große Modelle bereitstellt | Ihre Prompts auf fremden Rechnern laufen dürfen und Sie nichts selbst betreiben wollen |
| Cloud-GPUs | Große Karten stundenweise mieten | Budget da ist, die Frist drängt und die Daten das Institut verlassen dürfen |
Die ausführliche Fassung, auch mit den Fällen, in denen wir die falsche Wahl sind: SilentSwarm im Vergleich.
Drei Schritte zum ersten Pool
Geschrieben für alle, die schon mit Docker und einem Terminal gearbeitet haben. Jeder Schritt verweist auf seine Seite in der Dokumentation.
- Den Koordinator starten. Ein kleiner, ständig laufender Rechner betreibt ihn mit Docker - eine virtuelle Maschine oder der Server des Lehrstuhls genügt. Er braucht keine GPU. Inbetriebnahme
- Jede Workstation mit einem Befehl hinzufügen. Die Installation landet in einem Verzeichnis im Home-Ordner, braucht keine Administratorrechte und verbindet sich nach außen - kein Port muss geöffnet werden. Rechner hinzufügen
- Ein Modell laden oder eine Feinabstimmung starten. Über die Weboberfläche, die Kommandozeile oder die OpenAI-kompatible API. Bereitstellung und Training
Was es gibt - und was noch nicht
SilentSwarm ist eine offene Beta. Ein Pilotprojekt soll lieber mit benannten Lücken beginnen, als sie mitten im Semester zu entdecken.
Heute verfügbar
- Bereitstellung über eine OpenAI-kompatible API, auf einem Rechner oder mehreren.
- LoRA-Feinabstimmung über mehrere Rechner, mit Zwischenständen und exportierten Modellen.
- Veröffentlichte Benchmarks mit Hardware, Commit und Skripten, auf der Benchmark-Seite.
- Kostenlose Nutzung für nichtkommerzielle Forschung. Die Lizenz nennt Bildungseinrichtungen und öffentliche Forschungseinrichtungen ausdrücklich als berechtigte Nutzer.
Noch nicht
- Ein großes Modell von Grund auf trainieren. Die Aufteilung ist für die Feinabstimmung gebaut.
- Schnelle lange Prompts auf alten Karten. Auf den Karten oben wartet ein langer Prompt etwa eine Minute, bis die Antwort beginnt.
- Jede Modellfamilie. Getestet ist die Aufteilung mit den Familien Llama, Qwen und GPT-2; andere brauchen eventuell einen Adapter.
- Support mit zugesicherter Antwortzeit. Pilotprojekten helfen wir selbst, so schnell wir können.
Fragen aus Laboren
- Läuft ein 14B-Modell auf Karten mit 4 bis 8 GB?
- Ja, verteilt auf genug davon. Unser Benchmark betreibt Qwen3-14B in 4 Bit auf vier älteren GPUs mit 4 und 6 GB in zwei PCs, und keine davon könnte es allein halten. Jede Karte hält einen Teil des Modells, passend zu ihrem Speicher.
- Wie schnell ist es?
- Auf diesen zwei Heim-PCs 3,3 Tokens pro Sekunde für eine Person und insgesamt 11,6 für acht gleichzeitig. Das sind kleine Stichproben auf alten Karten; die Benchmark-Seite nennt Methode und Grenzen.
- Ist es für Hochschulen kostenlos?
- Ja. SilentSwarm steht unter der PolyForm-Noncommercial-Lizenz, die Bildungseinrichtungen und öffentliche Forschungseinrichtungen ausdrücklich als berechtigte Nutzer nennt, unabhängig davon, wie die Arbeit finanziert ist.
- Verlassen unsere Prompts und Daten das Institut?
- Nicht, wenn Sie es selbst betreiben. Der Koordinator ist ein kleiner Server von Ihnen, und Prompts und Trainingsdaten bleiben auf Rechnern, die Sie betreiben, den Koordinator eingeschlossen.
- Wie schneidet es gegenüber llama.cpp, exo oder Petals ab?
- Passt das Modell auf einen Rechner, ist llama.cpp oder Ollama auf diesem Rechner schneller. exo bündelt die Geräte eines Heimnetzes zum Chatten, und Petals stellt Modelle aus einem öffentlichen Schwarm fremder Rechner bereit. SilentSwarm ist für ein Modell gedacht, das auf keine einzelne Karte passt, wenn Sie es nicht nur bereitstellen, sondern auch feinabstimmen wollen, auf Rechnern, die in verschiedenen Räumen oder Gebäuden stehen dürfen.
- Was brauchen wir für den Anfang?
- Einen kleinen, ständig laufenden Rechner für den Koordinator, der keine GPU braucht, und die Workstations, deren GPUs sich das Modell teilen. Jede tritt mit einem Befehl bei, ohne Administratorrechte.
Sie leiten ein Labor? Erzählen Sie uns von Ihren Rechnern.
Welche GPUs Sie haben, welche Modelle Sie betreiben oder trainieren möchten und wofür. Gruppen, die früh einsteigen, bekommen unsere Hilfe beim Aufsetzen ihres ersten Pools. Wir beantworten jede Nachricht selbst.
Wir verwenden Ihre Angaben nur, um Ihnen zu antworten - siehe Datenschutzerklärung. Der Quellcode von SilentSwarm ist unter der PolyForm-Noncommercial-Lizenz einsehbar; für die kommerzielle Nutzung braucht es eine Lizenz von NexPatch AI - fragen Sie gern in derselben Nachricht danach.