KI in der Kommune ohne Cloud: Rechner, Daten, Grenzen¶
Eine Stadt kann offene Sprachmodelle heute auf eigenen Rechnern betreiben, ohne dass Prompts ihr Netz verlassen. Dazu braucht sie Linux-Rechner mit NVIDIA-GPUs und jemanden, der den Betrieb übernimmt. Dokumentensuche und Zertifizierungen fehlen bei uns noch.
Was heute geht¶
Mit SilentSwarm läuft ein Sprachmodell verteilt über mehrere Rechner, auch wenn keiner es allein halten könnte. Daraus ergeben sich drei Einsätze:
- Ein Assistent für Mitarbeitende. Eine Chat-Oberfläche, um ein Schreiben zu entwerfen, ein Dokument zusammenzufassen oder einen Aushang zu übersetzen.
- Eine Schnittstelle für eigene Anwendungen. Die API ist OpenAI-kompatibel: Ein Werkzeug, das für ein Cloud-Modell gebaut wurde, wechselt über die Basis-URL und den Schlüssel.
- Feinabstimmung auf eigenen Texten. LoRA-Training über die GPUs des Pools, mit Checkpoints und einem exportierten Modell am Ende.
Welche Rechner in Frage kommen¶
Viele Rechner einer Stadt stehen nachts still. Über Verfügbarkeitsfenster nimmt ein Rechner nur zu festgelegten Zeiten am Pool teil, etwa in einem Schulraum nach Unterrichtsschluss.
Die Einschränkung ist wichtig: Ein Rechner braucht heute Linux und eine NVIDIA-GPU. Unter Windows ist es nicht getestet, und damit scheidet ein großer Teil typischer Büro-PCs vorerst aus. Wie viel GPU-Speicher ein Modell braucht, steht in LLM selbst hosten: Was reicht an Hardware?
Welche Daten wo liegen¶
Das entscheidet sich an einem Punkt: Wer betreibt den Koordinator? Betreibt die Stadt ihn selbst, bleiben Prompts, Trainingsdaten und Modelle auf ihren Rechnern.
Innerhalb des eigenen Netzes gilt trotzdem:
- Der Koordinator sieht Prompts und Antworten. Chats aus der Weboberfläche speichert er im Klartext, bis ihr Besitzer sie löscht.
- Der Rechner mit den ersten Schichten liest den Prompt, der mit den letzten die Antwort.
- SilentSwarm verschlüsselt weder gespeicherte Daten noch direkte Verbindungen zwischen Rechnern. Nötig sind also Festplattenverschlüsselung und ein Netz, dem Sie vertrauen, oder das Mesh.
- Der Worker läuft ohne Sandbox. Wer den Koordinator kontrolliert, kann auf den Workern Code ausführen.
Die Einzelheiten stehen auf unserer Seite zu Daten und Sicherheit. Sie ist für die Prüfung durch Datenschutz und IT geschrieben. Ob ein Einsatz zulässig ist, muss Ihre Datenschutzbeauftragte oder Ihr Datenschutzbeauftragter im Einzelfall beurteilen; das können wir nicht abnehmen.
Was noch nicht geht¶
- Dokumentensuche. Es gibt noch keine Anbindung an Dokumentenablagen: Ein Modell antwortet aus dem, worauf es trainiert wurde, und aus dem, was eine Anfrage enthält.
- Zertifizierungen wie BSI C5 oder ISO 27001, und zugesicherte Servicelevel. Eine externe Prüfung gab es noch nicht.
- Windows-Rechner, siehe oben.
- Fristen für gespeicherte Chats und Selbstbedienung beim Löschen von Konten.
Wenn eines davon für Sie Voraussetzung ist, ist SilentSwarm heute nicht das Richtige.
Und die Wärme?¶
Jede GPU wandelt ihren Strom fast vollständig in Wärme um. Der Energieverbrauch wird je Rechner erfasst, und der Wärmebedarf eines Gebäudes kann steuern, wo gerechnet wird. Was sich davon rechnet, steht in Abwärme aus GPUs nutzen.
Mehr zum Einsatz in Städten steht auf SilentSwarm für Smart Cities.
SilentSwarm ist in der Evaluierungsphase. Wir suchen Unternehmen, Einrichtungen und Einzelpersonen, die es auf eigenen Rechnern erproben möchten: Für die Evaluierung bewerben.