Wo dieser gemeinsame GPU-Pool heute steht
Live vom Koordinator dieser Gemeinschaft, keine Marketingfolie. Solange der Pool klein ist, zeigen wir keine Zahlen - sie würden den Rechner eines einzelnen Mitglieds beschreiben und keine Gemeinschaft.
Zwei Wege hinein, ein Pool
Die einen bringen einen Rechner mit. Die anderen wollen einfach ein Modell, das ihnen antwortet. Im Pool treffen sich beide: aus ungenutzten GPUs wird Kapazität, und aus Kapazität werden Antworten. Als Nächstes bauen wir die Vergütung: Mitglieder sollen etwas dafür bekommen, dass ihr Rechner mitarbeitet. Heute läuft der Tausch in Naturalien, und die Nutzung ist während der Beta kostenlos.
Du hast eine GPU
- Einen Befehl ausführen
- Dein Rechner tritt bei
- Er hilft mit, wenn er frei ist
Kapazität hinein
Der Pool
Ein Modell, verteilt auf die Rechner der Mitglieder
Antworten hinaus
Du brauchst Inferenz
- Demselben Pool beitreten
- Ein Modell wählen
- Chatten oder die API nutzen
GEPLANT Gutschrift für den Beitrag deines Rechners
Was auf deinem Rechner läuft, wenn du eine GPU teilst
Eine berechtigte Frage, bevor du irgendetwas installierst. Drei Dinge solltest du wissen - für keines davon braucht es ein Diagramm.
- Der Koordinator hält das Modell nicht. Ein kleiner, immer laufender Rechner merkt sich, wer im Pool ist und wer was hält. Er braucht keine Grafikkarte und sieht nie eine Kopie des Modells.
- Dein Rechner hält einen Teil, nicht das Ganze - und das auch nur, solange er im Pool ist. Trittst du aus, hört er auf.
- Eine Frage wandert der Reihe nach durch die Teile und kommt als Antwort zurück. Dein Rechner erledigt seinen Anteil und reicht das Ergebnis weiter.
Deine Frage geht bei Teil 1 hinein und verlässt Teil 3 als Antwort.
Offene Modelle auf ganz gewöhnlichen Rechnern betreiben
Modelle, die zu groß für deine Karte sind
Der Pool verteilt ein Modell auf seine Rechner und gibt jedem den Anteil, der zu seinem Speicher passt. Niemand braucht die eine Karte, die das Modell allein stemmen könnte.
Dein Rechner bleibt hinter deinem Router
Er meldet sich beim Pool, es muss also nichts von außen hereinkommen. Keine Portfreigabe, kein VPN, nichts, was aus dem Internet erreichbar wäre.
Läuft über normales Internet
Die Rechner reichen komprimierte Zwischenergebnisse weiter, keine ganzen Modelle - ein Pool funktioniert also über normale Anschlüsse statt über ein Rechenzentrumsnetz.
Beitreten kostet einen Befehl
Eine Zeile ins Terminal kopieren. Dein Rechner installiert, was er braucht, tritt dem Pool bei und taucht live bei den anderen Mitgliedern auf.
Bring die offenen Modelle mit, die du nutzt
Qwen, Llama, GPT-2 und der Rest des offenen Katalogs. Nutze sie, wie sie sind, oder trainiere sie mit den Daten des Pools weiter.
Chatte damit oder nutze die API
Alles, was der Pool ausliefert, ist im Browser und über einen OpenAI-kompatiblen Endpunkt erreichbar - deine bestehenden Tools funktionieren ohne Umbau.
Zahlt sich Beitragen aus?
Noch nicht - und das sagen wir lieber deutlich, als etwas anderes anzudeuten. Hier ist die Reihenfolge, in der wir es bauen, und wo wir gerade stehen.
- liveSieh, was du beigetragen hast. Für jeden Rechner werden GPU-Stunden, ausgelieferte Tokens und beantwortete Anfragen dem Mitglied zugeordnet, das ihn eingebracht hat - sichtbar in deinem Profil.
- geplantGuthaben. Wer beisteuert, sammelt Guthaben; wer den Pool nutzt, gibt es aus - innerhalb einer Gemeinschaft. Kein Bargeld, und kein Versprechen zu einem Kurs, solange die Abrechnung oben nicht lange genug gelaufen ist, um einen ehrlich festzulegen.
- späterEin veröffentlichter Kurs, damit der Tausch nachvollziehbar wird: was eine Stunde einer bestimmten Karte einbringt und was tausend Tokens kosten.
- späterAuszahlungen in echtem Geld. Das ist eher Firmenverwaltung als ein Feature - wer Vertragspartner ist, Umsatzsteuer, und wie Beiträge gemeldet werden. Deshalb kommt es zuletzt und erst, wenn es sauber ist.
Bevor du irgendetwas installierst
Die Fragen, die wir selbst stellen würden - gruppiert nach dem, worum es dabei wirklich geht. Die Antworten beschreiben, was die Software heute tut: Was es nicht gibt, steht auch so da, statt beruhigend zu klingen.
Auf deinem Rechner
- Was genau wird installiert?
- Ein Verzeichnis:
~/.silent-swarmenthält den Quellcode, eine eigene Python-Umgebung, eine Logdatei und eine kleine Konfigurationsdatei. Nichts wird systemweit installiert und kein Dienst registriert. - Braucht es Root-Rechte oder ändert es meine Firewall?
- Standardmäßig nicht. Es läuft unter deinem eigenen Benutzerkonto und fasst nichts außerhalb dieses Verzeichnisses an. Firewall-Regeln werden nur angelegt, wenn du ausdrücklich
--allow-frombeim Beitreten angibst. Dann öffnet es die beiden Pipeline-Ports für die von dir genannten Adressen, notiert, was es angelegt hat, und nimmt genau diese Regeln wieder zurück, wenn du es deinstallierst. - Läuft es in einer Sandbox?
- Nein, und wir tun nicht so, als ob. Es ist ein ganz normaler Prozess: er läuft unter deinem Benutzerkonto und mit deinen Rechten - kein Container, keine virtuelle Maschine. Betreib es auf einem Rechner, bei dem das für dich in Ordnung ist, und lies den Quellcode, wenn du genau wissen willst, was er tut.
Im Netzwerk
- Was öffnet es im Netzwerk?
- Es verbindet sich nach außen zum Pool, es muss also nichts von außen hereinkommen. Während es ein Modell bedient, lauscht es zusätzlich auf zwei lokalen Ports, damit die Nachbarrechner in der Pipeline ihm Arbeit übergeben können; du kannst diese über die Einstellung
SWARM_ZMQ_BIND_HOSTan eine Netzwerkschnittstelle binden, etwa ein VPN. - Wer sieht die Prompts, die ich schicke?
- Die Rechner in deinem Pool, die das gewählte Modell halten. Der Pool ist die Grenze: das Modell eines Pools läuft nur auf den Rechnern dieses Pools. Der Koordinator leitet die Anfrage weiter und protokolliert Zeiten, nicht den Text deiner Anfrage oder der Antwort.
- Sehen andere Mitglieder meinen Rechner?
- Mitglieder deines Pools sehen, ob er online und wie ausgelastet er ist - so bemerkt ein Pool einen Rechner in Schwierigkeiten. Außerhalb deines Pools sieht ihn niemand.
Zu deinen Bedingungen
- Kann ich aufhören und meinen Rechner zurückbekommen?
- Jederzeit. Stoppe den Prozess, und er nimmt keine Arbeit mehr an; deinstalliere ihn, und das Verzeichnis ist weg, samt der Firewall-Regeln, die er angelegt hat. Wenn dir der Pool gehört, kannst du einen Rechner auch auf Standby parken: er bleibt Mitglied, bekommt aber keine Arbeit.
- Ist der Quellcode öffentlich?
- Ja - auf GitHub, unter einer Lizenz, die für nichtkommerzielle Nutzung kostenlos ist. Das Installationsskript wird über HTTPS geladen und prüft das Quellarchiv gegen eine veröffentlichte Prüfsumme, bevor irgendetwas ausgeführt wird.
Lieber die Details als die Zusammenfassung? Die Betriebsdokumentation listet jede Datei auf, die das Installationsskript schreibt, jede Option und wie man es wieder entfernt.
SilentSwarm ist in der offenen Beta
Das ist ein behutsamer Start: der Kern funktioniert - Training über mehrere Rechner hinweg, das Mesh, der Chat - aber rechne mit Ecken und Kanten, solange wir stabilisieren. Die Registrierung ist zugleich eine Beta-Warteliste: neue Konten werden von uns geprüft und freigegeben, bevor du dich anmelden kannst. Lieber einfach informiert bleiben? Lass uns deine E-Mail-Adresse da, und wir melden uns, sobald die Beta öffnet (Quellcode-Release inklusive).