GPU-Kapazität, ohne Rechenzentrum
SilentSwarm betreibt offene Sprachmodelle auf gewöhnlichen Rechnern - Ihren eigenen, denen Ihrer Partner oder Geräten, die Gebäude heizen. Sie bekommen eine OpenAI-kompatible API und wissen, welche Rechner die Arbeit erledigt haben.
Sie bauen Heiztechnik? SilentSwarm für Compute-Wärmepumpen
Warum auf diese Weise
Die meisten Teams mieten GPUs stundenweise im Rechenzentrum eines anderen. Das funktioniert - bis das Modell für eine Karte zu groß ist, die Daten das Land nicht verlassen dürfen oder die Rechnung für ungenutzte Kapazität kommt.
- Größere Modelle auf kleineren Karten. Ein Modell wird in Abschnitte über mehrere Rechner verteilt. So kann ein Pool aus 24-GB-Karten ein Modell bereitstellen und feinabstimmen, das keine von ihnen allein halten könnte.
- Sie entscheiden, wo es läuft. Betreiben Sie den Koordinator selbst und halten Sie Jobs auf den Rechnern Ihrer Wahl - im Büro, bei einem Partner, in der EU. Nichts geht in eine fremde Cloud, solange Sie dort keinen Rechner hinstellen.
- Wärme, die genutzt wird. Ein Pool kann Compute-Heizungen enthalten - Rechner, deren Abwärme ein Gebäude heizt. Die Energie jedes Rechners wird gemessen, die Zahl hat also eine Quelle.
Was Sie heute damit tun können
Dieselbe Plattform, die die Mitglieder der offenen Beta täglich nutzen.
Chat und API
Ein OpenAI-kompatibler Chat-Completions-Endpunkt. Vorhandene Clients und SDKs funktionieren, sobald Basis-URL und Schlüssel geändert sind.
Feinabstimmung über mehrere Rechner
LoRA-Feinabstimmung, verteilt auf die GPUs des Pools, mit Zwischenständen unterwegs und einem exportierten Modell am Ende, bereit zur Nutzung.
Eigene Modelle mitbringen
Modelle mit offenen Gewichten von Hugging Face. Passt ein Basismodell zum Training nicht in den Pool, kann der Koordinator es quantisieren.
Private Pools
Nur Mitglieder sehen die Rechner und Modelle eines Pools. API-Tokens tragen Lese-, Betriebs- oder Admin-Rechte, und jede Änderung landet im Prüfprotokoll.
Gemischte Hardware
Unterschiedliche GPUs sind willkommen: Jeder Rechner bekommt einen Anteil am Modell nach seinem Speicher, und eine Zustandsnote zeigt, welche den Pool bremsen.
Agenten können es bedienen
Ein MCP-Server gibt KI-Agenten dieselben Aktionen wie die Weboberfläche - mit den Rechten der aufrufenden Person und keinen weiteren.
Live aus dem SilentSwarm-Pool
Vom Koordinator gelesen, der diese Seite ausliefert - nicht hineingeschrieben. Rechnerzahlen bleiben verborgen, solange der Pool klein ist, damit sie nie den Rechner einer einzelnen Person beschreiben.
Was es gibt - und was noch nicht
Durchsatz veröffentlichen wir nur aus echten Läufen über mehrere Rechner, mit Angabe von Hardware und Verbindungen. Die Benchmark-Seite zeigt die Zahlen, die Methode und die Grenzen.
Heute verfügbar
- Ein selbst betriebener Koordinator mit Pools, Organisationen, API-Tokens mit Rechten und einem Prüfprotokoll.
- Bereitstellung über eine OpenAI-kompatible API, auf einem Rechner oder mehreren.
- Feinabstimmung über mehrere Rechner, mit Zwischenständen und exportierten Modellen.
- Energiemessung pro Rechner, aus den Leistungswerten der GPUs selbst.
- Veröffentlichte Benchmarks aus echten Läufen über mehrere Rechner: Qwen3-14B auf zwei PCs zu Hause, 11,6 Tokens pro Sekunde für acht Nutzer.
Noch nicht
- Nutzungsabrechnung und Rechnungen.
- Zugesicherte Servicelevel. Es ist eine offene Beta.
- Ein verwaltetes Kapazitätsangebot. Sagen Sie uns, was Sie brauchen - wir sagen Ihnen ehrlich, ob ein Pilotprojekt passt.
Fragen von Teams
- Funktionieren unsere bestehenden OpenAI-Clients?
- Ja. Der Chat-Completions-Endpunkt ist OpenAI-kompatibel: Bestehende Clients und SDKs funktionieren, wenn Sie Basis-URL und Schlüssel ändern.
- Kann es Modelle betreiben, die größer sind als unsere GPUs?
- Ja. Ein Modell wird in Abschnitte über mehrere Rechner aufgeteilt, und jeder hält einen Anteil nach seinem Speicher. So halten die Karten gemeinsam ein Modell, das keine allein halten könnte.
- Wohin gehen unsere Daten?
- Auf die Rechner im Pool und nirgendwohin sonst. Betreiben Sie den Koordinator selbst, geht nichts in eine fremde Cloud, außer Sie stellen dort einen Rechner hin.
- Wie schnell ist es?
- Wir veröffentlichen Durchsatz nur aus echten Läufen über mehrere Rechner: Qwen3-14B auf zwei Heim-PCs mit älteren GPUs liefert acht Nutzern zusammen 11,6 Tokens pro Sekunde. Die Benchmark-Seite nennt Methode und Grenzen.
- Gibt es ein Service-Level-Agreement oder eine Abrechnung?
- Noch nicht. SilentSwarm ist eine offene Beta, ohne Service-Level-Garantien und ohne Rechnungen. Sagen Sie uns, was Sie brauchen, und wir sagen Ihnen ehrlich, ob ein Pilotprojekt passt.
- Dürfen wir es kommerziell nutzen?
- Ja, mit einer kommerziellen Lizenz von NexPatch AI. Der Quellcode ist unter der PolyForm-Noncommercial-Lizenz verfügbar, die nur die nichtkommerzielle Nutzung abdeckt.
Sie brauchen GPU-Kapazität? Erzählen Sie uns davon.
Welche Modelle, wie viel Last oder Training und wo die Daten bleiben müssen. Wir beantworten jede Nachricht selbst.
Wir verwenden Ihre Angaben nur, um Ihnen zu antworten - siehe Datenschutzerklärung. Der Quellcode von SilentSwarm ist unter der PolyForm-Noncommercial-Lizenz einsehbar; für die kommerzielle Nutzung braucht es eine Lizenz von NexPatch AI - fragen Sie gern in derselben Nachricht danach.