Wo der Pool heute steht
Live vom Leader dieser Gemeinschaft, keine Marketingfolie. Solange der Pool klein ist, bleiben die Zahlen unter Verschluss - sie würden den Rechner eines einzelnen Mitglieds beschreiben und nicht eine Gemeinschaft.
Zwei Wege hinein, ein Pool
Manche Mitglieder bringen einen Rechner mit. Andere wollen einfach ein Modell, das ihnen antwortet. Im Pool treffen sich beide: aus ungenutzten GPUs wird Kapazität, und aus Kapazität werden Antworten. Mitglieder für den Beitrag ihres Rechners zu vergüten, bauen wir als Nächstes - heute ist der Tausch in Naturalien, und der Pool ist während der Beta kostenlos.
Du hast eine GPU
- Einen Befehl ausführen
- Dein Rechner tritt bei
- Er hilft im Leerlauf
Kapazität rein
Der Pool
Ein Modell, verteilt auf die Rechner der Mitglieder
Antworten raus
Du brauchst Inferenz
- Dem selben Pool beitreten
- Ein Modell wählen
- Chatten oder die API rufen
NEXT Gutschrift für den Beitrag deines Rechners
Was auf deinem Rechner läuft
Eine faire Frage, bevor du irgendetwas installierst. Drei Dinge sind wichtig, und für keines davon braucht es ein Diagramm.
- Der Koordinator hält das Modell nicht. Ein kleiner, immer laufender Rechner merkt sich, wer im Pool ist und wer was hält. Er braucht keine Grafikkarte und sieht nie eine Kopie des Modells.
- Dein Rechner hält einen Teil, nicht das Ganze - und nur, solange er im Pool ist. Gehst du, hört er auf.
- Eine Frage wandert der Reihe nach durch die Teile und kommt als Antwort zurück. Dein Rechner erledigt seinen Anteil und reicht das Ergebnis weiter.
Deine Frage geht bei Teil 1 hinein und verlässt Teil 3 als Antwort.
Modelle, die zu groß für deine Karte sind
Der Pool verteilt ein Modell auf seine Rechner und gibt jedem einen Anteil, der zu seinem Speicher passt. Niemand braucht die Karte, die es allein stemmen könnte.
Dein Rechner bleibt hinter deinem Router
Er meldet sich beim Pool, es muss also nichts hereinkommen. Keine Portfreigabe, kein VPN, nichts im Internet exponiert.
Läuft über normales Internet
Die Rechner reichen komprimierte Zwischenergebnisse weiter, keine ganzen Modelle - ein Pool funktioniert also über normale Anschlüsse statt über ein Rechenzentrumsnetz.
Beitreten kostet einen Befehl
Eine Zeile ins Terminal einfügen. Dein Rechner installiert, was er braucht, tritt dem Pool bei und erscheint live bei den anderen Mitgliedern.
Bring die offenen Modelle mit, die du nutzt
Qwen, Llama, GPT-2 und der Rest des offenen Katalogs. Nutze sie, wie sie sind, oder trainiere sie mit den Daten des Pools weiter.
Chatte damit oder ruf die API
Alles, was der Pool bedient, ist im Browser und über einen OpenAI-kompatiblen Endpunkt verfügbar - deine vorhandenen Werkzeuge funktionieren einfach.
Zahlt sich Beitragen aus?
Noch nicht, und das sagen wir lieber, als etwas anderes anzudeuten. Hier ist die Reihenfolge, in der wir es bauen, und wo es gerade steht.
- liveSieh, was du beigetragen hast. GPU-Stunden, ausgelieferte Tokens und beantwortete Anfragen jedes Rechners werden dem Mitglied zugeordnet, das ihn hinzugefügt hat, und sind im Profil sichtbar.
- als NächstesGuthaben. Beitragen verdient Guthaben, den Pool nutzen gibt es aus - innerhalb einer Gemeinschaft. Kein Bargeld und keine Versprechen zum Kurs, bis die Abrechnung oben lange genug gelaufen ist, um einen ehrlich festzulegen.
- späterEin veröffentlichter Kurs, damit der Tausch lesbar wird: was eine Stunde einer bestimmten Karte einbringt und was tausend Tokens kosten.
- späterAuszahlungen in echtem Geld. Das ist Firmen-Infrastruktur und kein Feature - wer Vertragspartner ist, Umsatzsteuer und wie Beiträge gemeldet werden - deshalb kommt es zuletzt und erst, wenn es stimmt.
Bevor du irgendetwas installierst
Die Fragen, die wir stellen würden, gruppiert nach dem, worum es wirklich geht. Die Antworten beschreiben, was die Software heute tut - was nicht gebaut ist, steht auch so da, statt beruhigend zu klingen.
Auf deinem Rechner
- Was genau wird installiert?
- Ein Verzeichnis:
~/.silent-swarmenthält den Quellcode, eine eigene Python-Umgebung, eine Logdatei und eine kleine Konfigurationsdatei. Nichts wird systemweit installiert und kein Dienst registriert. - Braucht es Root-Rechte oder ändert es meine Firewall?
- Standardmäßig nicht. Es läuft als dein eigener Benutzer und fasst nichts außerhalb dieses Verzeichnisses an. Firewall-Regeln werden nur angelegt, wenn du ausdrücklich
--allow-frombeim Beitreten angibst. Dann öffnet es die beiden Pipeline-Ports für die von dir genannten Adressen, notiert, was es angelegt hat, und entfernt genau diese Regeln beim Entfernen wieder. - Läuft es in einer Sandbox?
- Nein, und wir tun nicht so, als ob. Es ist ein gewöhnlicher Prozess, der als du mit deinen Rechten läuft - kein Container und keine virtuelle Maschine. Betreib es auf einem Rechner, wo das in Ordnung ist, und lies den Quellcode, wenn du genau wissen willst, was er tut.
Im Netzwerk
- Was öffnet es im Netzwerk?
- Es verbindet sich out zum Pool, es muss also nichts hineinkommen. Während es ein Modell bedient, lauscht es zusätzlich auf zwei lokalen Ports, damit die Nachbarrechner in der Pipeline ihm Arbeit übergeben können; du kannst diese über die Einstellung
SWARM_ZMQ_BIND_HOSTan eine Netzwerkschnittstelle binden, etwa ein VPN. - Wer sieht die Prompts, die ich schicke?
- Die Rechner in deinem Pool, die das gewählte Modell halten. Der Pool ist die Grenze: das Modell eines Pools wird nur auf den Rechnern dieses Pools bedient. Der Koordinator leitet die Anfrage weiter und misst Zeiten, nicht den Text deines Prompts oder der Antwort.
- Sehen andere Mitglieder meinen Rechner?
- Mitglieder deines Pools sehen, ob er online und wie ausgelastet er ist - so bemerkt ein Pool einen Rechner in Schwierigkeiten. Außerhalb deines Pools sieht ihn niemand.
Zu deinen Bedingungen
- Kann ich aufhören und meinen Rechner zurückbekommen?
- Jederzeit. Stopp den Prozess, und er nimmt keine Arbeit mehr an; entferne ihn, und das Verzeichnis ist weg, samt der Firewall-Regeln, die er angelegt hat. Wenn dir der Pool gehört, kannst du einen Rechner auch auf Standby parken: er bleibt Mitglied, bekommt aber keine Arbeit.
- Ist der Quellcode öffentlich?
- Yes - auf GitHub, unter einer Lizenz, die für nichtkommerzielle Nutzung kostenlos ist. Das Installationsskript wird über HTTPS geladen und prüft das Quellarchiv gegen eine veröffentlichte Prüfsumme, bevor irgendetwas ausgeführt wird.
Lieber die Details als die Zusammenfassung? Die Betriebsdokumentation listet jede Datei auf, die das Installationsskript schreibt, jede Option und wie man es wieder entfernt.
Unter der Haube
der Mechanismus, für alle, die ihn wollen
Das Modell wird in Pipeline-Stufen zerlegt, die Stufen streamen einander Aktivierungen (direkt peer-to-peer, wo das Netz es zulässt, sonst über das Relay des Leaders), und ein gelernter Flaschenhals an jeder Stufengrenze macht das über normale Verbindungen bezahlbar. Die Doku geht weiter.
- Pipeline-paralleles Training und Inferenz über ungleiche GPUs hinweg, verteilt nach freiem VRAM.
- Gelernte Flaschenhals-Kompression an jeder Stufengrenze - das macht eine Pipeline über das WAN wirtschaftlich.
- Jedes kausale HuggingFace-LM - GPT-2, Qwen und die Llama-Familie - von vollem Fine-Tuning bis zu einem eingefrorenen Backbone mit trainiertem Flaschenhals.
- Mesh-P2P als Standard, mit dem HTTP-Relay des Leaders als Rückfallebene für Knoten hinter NAT.
- OpenAI-kompatible API at
/v1/chat/completionsneben dem Chat im Browser.
SilentSwarm ist in der offenen Beta
Das ist ein sanfter Start: der Kern funktioniert - Training über Pipeline-Stufen, das Mesh, der Chat - aber rechne mit rauen Kanten, während wir stabilisieren. Die Registrierung ist zugleich eine Beta-Warteliste: neue Konten werden von einer Administratorin oder einem Administrator geprüft und freigegeben, bevor sie sich anmelden können. Lieber einfach informiert bleiben? Lass uns deine E-Mail-Adresse da, und wir melden uns, sobald die Beta öffnet (Quellcode-Release inklusive).