KI für die Stadt, auf den eigenen Rechnern der Stadt
SilentSwarm verbindet die GPUs, die eine Stadt schon betreibt - in Schulen, Bibliotheken und Ämtern - zu einem privaten Cluster, das offene Sprachmodelle bereitstellt und feinabstimmt. Die Daten bleiben im Netz der Stadt, und die Wärme kann die Gebäude heizen, in denen gerechnet wird.
Sie bauen Heiztechnik? SilentSwarm für Compute-Wärmepumpen
Warum eine Stadt es so betreiben sollte
Städte wollen Sprachmodelle für ihre Beschäftigten und ihre Dienste, aber nicht jede Anfrage soll in eine Cloud im Ausland gehen, und neue GPU-Server sind ein eigener Haushaltsposten. Dabei stehen viele Rechner der Stadt jede Nacht still.
- Die Daten bleiben in der Stadt. Der Koordinator läuft auf einem Server der Stadt, und die Rechner im Pool gehören der Stadt. Prompts, Dokumente und trainierte Modelle verlassen ihr Netz nie, und der Quellcode lässt sich prüfen.
- Nutzen, was schon bezahlt ist. Der Computerraum einer Schule oder die Workstations eines Amts kommen nach Feierabend in den Pool. Verfügbarkeitsfenster halten einen Rechner aus dem Pool heraus, solange Menschen ihn brauchen.
- Wärme, wo die Stadt sie braucht. Die GPU-Energie jedes Rechners wird gemessen, und der Wärmebedarf eines Gebäudes lenkt die Arbeit zu den Rechnern, deren Wärme gebraucht wird - in die Schule im Winter, ins Schwimmbad das ganze Jahr.
Was eine Stadt heute damit tun kann
Dieselbe Plattform, die die Mitglieder der offenen Beta täglich nutzen - auf Hardware, die die Stadt auswählt.
Ein Assistent für die Beschäftigten
Eine Chat-Oberfläche für offene Sprachmodelle: einen Brief entwerfen, ein langes Dokument zusammenfassen oder einen Aushang übersetzen, ohne den Text an einen fremden Dienst zu schicken.
Eine API für die eigenen Anwendungen der Stadt
Ein OpenAI-kompatibler Endpunkt: Bürgerportale und interne Werkzeuge, die für ein Cloud-Modell gebaut sind, wechseln, indem Basis-URL und Schlüssel geändert werden.
Modelle, die die Sprache der Stadt kennen
LoRA-Feinabstimmung über die GPUs des Pools auf den eigenen Texten der Stadt, mit Zwischenständen unterwegs und einem exportierten Modell am Ende.
Rechner nach Zeitplan
Wöchentliche Verfügbarkeitsfenster pro Rechner: Der Computerraum einer Schule arbeitet nachts und am Wochenende für den Pool und ist vor der ersten Stunde wieder draußen.
Wärmemessung und Wärmebedarf
GPU-Energie pro Rechner gemessen, und ein Wärmebedarfs-Signal pro Gebäude, das die Arbeit zu den Rechnern schickt, deren Wärme gebraucht wird.
Getrennte Pools pro Fachbereich
Private Pools, Organisationen und API-Tokens mit Rechten halten Fachbereiche auseinander, und jede Änderung landet im Prüfprotokoll.
So greift alles ineinander
Vier Teile, und jeder davon gehört der Stadt.
- Ein Koordinator im Serverraum der Stadt. Ein kleiner, ständig laufender Server, der keine GPU braucht. Er hält die Konten, die Pools und die Modelle und entscheidet, wo gerechnet wird.
- Rechner, die sich nach außen verbinden. Jeder Rechner kommt mit einem Befehl dazu und verbindet sich über ein privates Mesh-Netz nach außen mit dem Koordinator - in keine Schule und kein Amt muss ein Port geöffnet werden.
- Menschen und Anwendungen, die fragen. Die Beschäftigten nutzen den Chat, die Software der Stadt die API. Ein Modell, zu groß für jede einzelne Karte, wird auf mehrere verteilt, und die Antwort fließt zurück.
- Gebäude, die die Wärme aufnehmen. Steht ein Rechner in einem Gebäude, das Wärme braucht, bleibt seine Abwärme dort, und der Koordinator weiß, wie viel Energie jeder Rechner in sie umgesetzt hat.
Live aus dem SilentSwarm-Pool
Vom Koordinator gelesen, der diese Seite ausliefert - nicht hineingeschrieben. Rechnerzahlen bleiben verborgen, solange der Pool klein ist, und die Wärmewerte zählen nur die GPU-Leistung - der ganze Rechner gibt etwas mehr ab.
Was die Stadt schon besitzt
Zählen Sie die Rechner mit GPU in Schulen, Bibliotheken und Ämtern und die Stunden, in denen sie stillstehen. Ziehen Sie einen Regler oder tippen Sie einen Wert ein, und das Ergebnis wird neu gezeichnet.
- GPU-Speicher insgesamt
- -
- Frei für Modelle
- -
- Größtes Modell in 4 Bit
- -
- GPU-Stunden im Jahr
- -
- Wärme im Jahr
- -
Eine grobe Schätzung, kein Plan. Gerechnet wird die Bereitstellung eines Modells in 4 Bit mit Platz für ein Gespräch; von jeder Karte bleibt 1 GB für ihren Treiber, und jeder Rechner hat eine GPU. Feinabstimmung braucht mehr Speicher, und jeder weitere Rechner in der Kette eines Modells macht jede Antwort etwas langsamer. Der Koordinator prüft jeden echten Job gegen die Rechner, auf denen er laufen würde, und die Benchmark-Seite zeigt, was zwei PCs gemessen haben.
Die Adresszeile behält Ihre Werte, ein Link auf diese Seite teilt sie also mit.
Was es gibt - und was noch nicht
SilentSwarm ist in der offenen Beta. Ein Pilotprojekt mit einer Stadt gelingt am besten, wenn beide Seiten wissen, wo die Grenzen liegen.
Heute verfügbar
- Ein selbst betriebener Koordinator mit Pools, Organisationen, API-Tokens mit Rechten und einem Prüfprotokoll.
- Verfügbarkeitsfenster pro Rechner und Einrichtung mit einem Befehl hinter jeder Firewall.
- Offene Modelle, bereitgestellt über eine OpenAI-kompatible API und über mehrere Rechner hinweg feinabgestimmt.
- Energiemessung pro Rechner und das Wärmebedarfs-Signal, das lenkt, wo gerechnet wird.
Noch nicht
- Windows-Rechner. Ein Rechner braucht heute Linux und eine NVIDIA-GPU; Windows ist ungetestet.
- Suche in den Dokumenten der Stadt. Einen Dokumenten-Connector gibt es noch nicht: Ein Modell antwortet aus dem, worauf es trainiert wurde, und aus dem, was eine Anfrage enthält.
- Zertifizierungen wie BSI C5 oder ISO 27001 und zugesicherte Servicelevel. Es ist eine offene Beta.
- Eine Offline-Installation. Ein Rechner lädt beim Beitritt PyTorch von PyPI, und einem Koordinator ohne Internet müssen die Modelle von Hand aufgespielt werden.
Fragen von Städten
- Verlassen Daten von Bürgerinnen und Bürgern die Stadt?
- Nicht, wenn die Stadt es selbst betreibt. Der Koordinator ist ein Server der Stadt, die Rechner im Pool gehören der Stadt, und Prompts, Dokumente und trainierte Modelle bleiben auf ihnen.
- Welche Rechner können mitmachen?
- Rechner mit Linux und einer NVIDIA-GPU ab 4 GB; unterschiedliche Karten sind kein Problem. Jeder kommt mit einem Befehl dazu, ohne Administratorrechte, und verbindet sich nach außen mit dem Koordinator - er funktioniert also hinter der Firewall der Stadt, ohne dass ein Port geöffnet wird. Windows wird noch nicht unterstützt.
- Können die Rechner einer Schule nur nach Unterrichtsschluss mitmachen?
- Ja. Jeder Rechner kann wöchentliche Fenster haben, in denen er nicht verfügbar ist. Fünfzehn Minuten vor Beginn eines Fensters verlegt der Pool seine Arbeit beim nächsten gespeicherten Schritt auf andere Rechner und nimmt ihn heraus; nach dem Fenster kommt er wieder dazu.
- Ist es für eine Stadtverwaltung kostenlos?
- Der Quellcode von SilentSwarm ist unter der PolyForm-Noncommercial-Lizenz einsehbar, die staatliche Einrichtungen ausdrücklich als berechtigte Nutzer nennt, unabhängig davon, wie die Arbeit finanziert ist. Stadtwerke, die ihre Leistungen verkaufen, brauchen eine kommerzielle Lizenz von NexPatch AI. Schildern Sie uns Ihren Fall, und wir sagen Ihnen, was gilt.
- Kann die Wärme unsere Gebäude heizen?
- Die Wärme eines Rechners heizt den Raum, in dem er steht. Um sie in die Heizung eines Gebäudes zu bringen, braucht es eine Compute-Heizung - ein GPU-Gerät, das in die Heizungsanlage eingebaut ist -, und die Plattform misst die Energie jedes Geräts und hört auf den Wärmebedarf jedes Gebäudes. Siehe SilentSwarm für Compute-Wärmepumpen.
- Wie schnell ist es?
- Wir veröffentlichen Durchsatz nur aus echten Läufen über mehrere Rechner: Qwen3-14B auf zwei Heim-PCs mit vier älteren GPUs liefert einer Person 3,3 Tokens pro Sekunde und acht Personen zusammen 11,6. Die Benchmark-Seite nennt Methode und Grenzen.
Sie planen KI für Ihre Stadt? Sprechen wir.
Erzählen Sie uns von Ihren Rechnern, wofür Sie es nutzen möchten und wo die Daten bleiben müssen. Wir beantworten jede Nachricht selbst.
Wir verwenden Ihre Angaben nur, um Ihnen zu antworten - siehe Datenschutzerklärung. Der Quellcode von SilentSwarm ist unter der PolyForm-Noncommercial-Lizenz einsehbar; für die kommerzielle Nutzung braucht es eine Lizenz von NexPatch AI - fragen Sie gern in derselben Nachricht danach.