Lokale KI: Datenschutz und künstliche Intelligenz vereint

ChatGPT ist beeindruckend. Und genau das ist das Problem: Jede Frage, die Sie dort eintippen, landet auf Servern in den USA. Der Entwurf für die Mitgliederversammlung. Die Notizen zum Personalgespräch. Der halbe Förderantrag. Alles unterwegs zu einem Konzern, dessen Geschäftsbedingungen Sie nicht verhandeln, sondern nur abnicken können.

Muss das so sein? Nein. Es gibt einen zweiten Weg: KI-Modelle, die auf Ihrer eigenen Hardware laufen. Lokale KI. Die Antworten kommen aus dem Gerät unter Ihrem Schreibtisch. Kein Byte verlässt das Haus.

Vorweg, damit wir uns richtig verstehen: Ich bin kein KI-Prediger und kein KI-Verweigerer. Ich sage Ihnen, was heute funktioniert, was nicht, und was es kostet.

Was »lokal« wirklich heißt

Ein Sprachmodell (die Technik hinter ChatGPT) ist am Ende eine große Datei voller Zahlen. Diese Datei kann auf einem Server in Texas liegen. Oder auf einem Rechner in Ihrem Büro. Läuft das Modell lokal, passiert die komplette Verarbeitung auf Ihrer Hardware: Eingabe, Berechnung, Antwort. Sie können den Netzwerkstecker ziehen, und das Modell antwortet weiter. Das ist keine Metapher. Das ist der Test.

Möglich machen das offene Modelle wie Llama, Mistral oder Qwen, die frei verfügbar sind, und Werkzeuge wie Ollama, die die Einrichtung auf ein erträgliches Maß vereinfachen. Inzwischen mischt sogar ein offenes Modell aus Deutschland mit – Soofi-S habe ich im Praxischeck getestet. Es ist dieselbe Logik wie beim Selbst-Hosten von Software: Sie betreiben das Werkzeug, statt es zu mieten. Die Kontrolle liegt bei Ihnen. Nicht im Kleingedruckten eines Abos.

Was lokale KI heute realistisch kann

Auf Hardware, die sich ein Verein oder ein kleines Unternehmen leisten kann, funktionieren drei Dinge zuverlässig:

• Textentwürfe. Antwortmails, Ausschreibungstexte, der erste Wurf für Newsletter oder Förderantrag. Das Modell liefert den Rohbau, Sie machen den Feinschliff.
• Zusammenfassen. Das zwölfseitige Protokoll wird zur halben Seite Kernaussagen, der 40-Seiten-Bericht zum Absatz für den Vorstand. Gerade für Ehrenamtliche mit wenig Zeit ist das der größte Hebel.
• Klassifikation. Eingehende Mails nach Anliegen sortieren, Rechnungen von Anfragen trennen, Freitextantworten aus einer Umfrage in Kategorien einordnen. Unspektakulär, aber im Alltag Gold wert.

Das klingt weniger glamourös als die Werbeversprechen der KI-Branche? Stimmt. Dafür ist es echt. Wie das im Betriebsalltag aussieht, zeige ich an sieben KI-Anwendungen aus dem Handwerk.

Was (noch) nicht geht

Jetzt die andere Hälfte der Wahrheit, die Ihnen ein Verkäufer gern verschweigt:

• Aktuelles Wissen. Ein lokales Modell kennt nur, was bis zu seinem Trainingsende passiert ist. Es recherchiert nicht im Netz. Für Fakten von letzter Woche ist es das falsche Werkzeug.
• Fehlerfreiheit. Auch lokale Modelle erfinden Dinge, das Fachwort dafür ist Halluzination. Ein KI-Text geht bei mir nie ungeprüft raus. Das empfehle ich Ihnen genauso.
• Die ganz großen Aufgaben. Bei komplexen Analysen und sehr langen Dokumenten sind die Spitzenmodelle der US-Konzerne den lokalen Modellen weiter voraus. Wer das Maximum an Denkleistung braucht, bekommt es lokal noch nicht.

Heißt das, lokale KI ist eine Notlösung? Nein. Es heißt, dass Sie das Werkzeug nach der Aufgabe wählen sollten und nicht nach dem Hype.

Auch »das lassen wir bleiben« ist ein ehrliches Ergebnis.

Die Hardware-Realität: 1.000 bis 3.000 Euro

Lokale KI braucht Rechenleistung, vor allem viel schnellen Speicher. Die gute Nachricht: Das ist längst keine Rechenzentrums-Investition mehr.

• Ab etwa 1.000 Euro läuft ein kompaktes Modell ordentlich, etwa auf einem Mac mini mit genügend Arbeitsspeicher oder einem PC mit gebrauchter Grafikkarte. Das reicht für Zusammenfassungen und einfache Entwürfe.
• Ab etwa 2.000 bis 3.000 Euro laufen mittelgroße Modelle flüssig, die auch anspruchsvollere Texte und Klassifikationen sauber bewältigen. Ein solcher Rechner kann als kleiner KI-Server für das ganze Team dienen.

Einmal kaufen, jahrelang nutzen. Kein Abo, keine Preiserhöhung per Rundmail, keine Kosten pro Anfrage. Rechnen Sie dagegen, was KI-Lizenzen für zehn Personen über drei Jahre kosten. Die Rechnung kippt schnell zugunsten der eigenen Hardware.

Der DSGVO-Vorteil, ganz konkret

Sobald personenbezogene Daten an einen US-Anbieter gehen, beginnt Papierkram: Auftragsverarbeitungsvertrag, Prüfung des Drittlandtransfers, Einträge im Verzeichnis der Verarbeitungstätigkeiten, im Zweifel Einwilligungen der Betroffenen. Und auf die Frage »Wo genau liegen die Daten und was passiert damit?« lautet die ehrliche Antwort bei den großen Anbietern oft: unklar.

Bei lokaler KI fällt dieser Block weg. Der Lebenslauf einer Bewerberin, die Mitgliederliste, das Beratungsprotokoll: Alles bleibt auf Ihrer Hardware, in Ihren Räumen, unter Ihrer Kontrolle. Es gibt keinen Drittlandtransfer, den Sie erklären müssten. Weil es keinen Transfer gibt.

Für Vereine, Bildungsträger und Beratungsstellen, die mit sensiblen Daten arbeiten, ist das keine Kosmetik. Es ist oft der Unterschied zwischen »dürfen wir gar nicht« und »können wir sauber machen«. Für Kanzleien mit ihrer Schweigepflicht gilt das doppelt – was Mandantendaten von der IT verlangen, habe ich gesondert aufgeschrieben. Warum Firmendaten grundsätzlich nichts auf US-Servern verloren haben, habe ich am Beispiel Microsoft 365 und Nextcloud ausführlich beschrieben.

ChatGPT und Copilot: Der Gegner ist der Datenabfluss, nicht Sie

Wer ChatGPT nutzt, ist nicht naiv. Die Werkzeuge sind gut, und für unkritische Aufgaben spricht wenig dagegen. Wenn Sie eine Formulierung für die Webseite suchen, entsteht kein Schaden. Mein Problem beginnt dort, wo Kundendaten, Personalunterlagen oder Vereinsinterna in ein Eingabefeld wandern, dessen Serverstandort und Verwendungszweck ein Konzern bestimmt. Dieser Datenabfluss ist der Gegner. Nicht die Menschen, die die Werkzeuge nutzen. Ob sich Microsofts Copilot für kleine Betriebe überhaupt rechnet, habe ich an anderer Stelle durchgerechnet.

Mein pragmatischer Vorschlag ist eine einfache Regel im Team: Alles ohne personenbezogene oder vertrauliche Daten darf in die Cloud-KI. Alles andere läuft lokal. Diese Regel passt auf eine Seite, und in meinen KI-Schulungen ist sie regelmäßig der Moment, in dem aus diffuser KI-Angst ein brauchbarer Arbeitsalltag wird.

Wie der Einstieg aussieht

Nicht mit einem Hardware-Kauf. Sondern mit einer Liste: Welche Aufgaben in Ihrem Alltag fressen Zeit und bestehen aus Text? Protokolle, Anfragen, Berichte, Anträge. Daraus ergibt sich, welches Modell und welche Hardware Sie überhaupt brauchen. Erst dann wird gekauft, eingerichtet und das Team geschult. In dieser Reihenfolge. Wie ich dabei vorgehe, steht unter KI & Automation.

Wenn Sie herausfinden wollen, ob lokale KI zu Ihren Abläufen passt, was sie in Ihrem Fall kostet und wo sie schlicht nichts bringt: Sprechen wir darüber. Das Erstgespräch ist kostenlos, remote und bundesweit möglich. Auch danach entscheiden Sie, nicht ich.