Lokale KI 2026: Welche Hardware ein kleiner Betrieb wirklich braucht
VRAM ist die Währung, nicht Teraflops: drei ehrliche Hardware-Stufen für lokale KI – vom Mac mini über die gebrauchte RTX 3090 bis zur Frage, wann Sie gar nichts kaufen sollten. Mit echten Preisen und Stromkosten, Stand Juli 2026.
Seit meinem Artikel über lokale KI und Datenschutz kommt in Gesprächen verlässlich dieselbe Frage: »Und was muss ich dafür kaufen?« Die Antwort der Hardware-Branche kennen Sie aus der Werbung: möglichst viel. Meine Antwort ist kürzer. Weniger, als Sie denken – wenn Sie an der richtigen Stelle hinschauen.
Deshalb heute keine Grundsatzdebatte, sondern eine Einkaufsberatung: drei ehrliche Stufen, echte Preise mit Datum – und am Ende die Frage, die Ihnen ein Verkäufer nie stellt.
Die Währung heißt Speicher, nicht Tempo
Der wichtigste Satz zuerst, weil er vor Fehlkäufen schützt: Für lokale Sprachmodelle zählt der Grafikspeicher (VRAM), nicht die beworbene Rechenleistung. Ein Modell muss komplett in den Speicher passen, sonst läuft es quälend langsam oder gar nicht. Eine ältere Karte mit 24 Gigabyte schlägt im KI-Alltag darum eine nagelneue mit 12 – auch wenn deren Datenblatt mit mehr Teraflops glänzt. Merken Sie sich das fürs Verkaufsgespräch: erst der Speicher, dann alles andere.
Stufe 1: Der Rechner, der fast schon im Büro steht
Kleine Modelle mit sieben bis acht Milliarden Parametern laufen heute auf ordentlicher Büro-Hardware. Ein Mac mini mit M4-Chip und 16 Gigabyte gemeinsamem Speicher (ab rund 700 Euro) liefert mit einem solchen Modell etwa 20 bis 25 Wortbausteine pro Sekunde – flüssiger, als die meisten Menschen lesen. Vergleichbares schaffen aktuelle Mini-PCs und Notebooks mit ausreichend Arbeitsspeicher. Für Textentwürfe, Zusammenfassungen und das Vorsortieren von Mails reicht diese Klasse völlig.
Eine Kauffalle gehört genau hierher: der »KI-PC«-Aufkleber. Notebooks werben 2026 flächendeckend mit NPUs (speziellen KI-Chips). Die Standardwerkzeuge für lokale Sprachmodelle – Ollama, LM Studio, darunter arbeitet fast immer llama.cpp – nutzen diese NPUs für die Texterzeugung bislang praktisch nicht; gerechnet wird auf Grafikeinheit und Arbeitsspeicher. Der Sticker verkauft sich gut. Er beschleunigt nur nichts von dem, worüber wir hier reden.
Stufe 2: Die gebrauchte Grafikkarte
Die interessanteste Stufe für kleine Betriebe: ein gewöhnlicher PC mit einer gebrauchten Nvidia RTX 3090. Die Karte ist von 2020, trägt aber 24 Gigabyte VRAM – und genau deshalb kostet sie gebraucht derzeit rund 900 bis 1.200 Euro (Kleinanzeigen, Stand Juli 2026). Die KI-Nachfrage hat die Preise zuletzt eher steigen lassen; auf den großen Preisrutsch zu warten, lohnt kaum.
Beim Gebrauchtkauf gelten die üblichen Regeln: Karte vor Ort im Betrieb sehen, auf Lüftergeräusche achten, Rechnung mitnehmen. Und planen Sie den Rest des Rechners realistisch – die Karte will ein Netzteil ab etwa 750 Watt und ein Gehäuse mit Luft. Wer keinen alten PC übrig hat, nimmt einen gebrauchten Workstation-Rechner dazu und bleibt trotzdem im Budget.
Mit 24 Gigabyte öffnet sich die 30-Milliarden-Klasse in komprimierter Form (Quantisierung – das Modell wird verlustarm verkleinert und braucht dann rund 18 statt über 60 Gigabyte). Besonders gut passen Mixture-of-Experts-Modelle, bei denen pro Anfrage nur ein Bruchteil des Modells rechnet: Qwen3-30B läuft so mit über 40 Wortbausteinen pro Sekunde, und auch Soofi S, das offene deutsche Modell, zielt mit seinen angekündigten komprimierten Varianten auf genau diese Hardware-Klasse. Das ist keine Bastelei mehr, sondern brauchbare Textarbeit für ein ganzes Team – auf einem Rechner, der komplett unter 2.000 Euro bleibt.
Stufe 3: Wann es Server-Hardware braucht – und wann gar keine
Ernsthafte Server mit mehreren Profi-Grafikkarten brauchen Sie erst, wenn viele Menschen gleichzeitig mit dem Modell arbeiten sollen oder große Modelle unkomprimiert laufen müssen. Dann reden wir über fünfstellige Beträge, Kühlung, Wartung – und über Server-Werkzeuge wie vLLM statt Ollama. Für die meisten Organisationen mit fünf bis zwanzig Leuten ist das überdimensioniert: Ein einzelner 24-Gigabyte-Rechner bedient ein kleines Team nacheinander problemlos, denn es fragt selten jemand pausenlos.
Und dann die Antwort, die im Hardware-Prospekt fehlt: Manchmal ist die richtige Hardware gar keine. Wer KI zweimal die Woche für unkritische Texte nutzt und keine sensiblen Daten eingibt, fährt mit einem API-Zugang für wenige Euro im Monat schlicht wirtschaftlicher. Eigene Hardware rechnet sich – wie beim NAS im kleinen Unternehmen – erst, wenn sie regelmäßig arbeitet oder Daten verarbeitet, die das Haus nicht verlassen dürfen. Auch »kaufen Sie nichts« ist ein ehrliches Ergebnis.
Die Stromrechnung, ehrlich gerechnet
Ein PC mit RTX 3090 zieht unter Volllast rund 400 Watt. Das klingt dramatisch, ist es im Alltag aber selten: Ein Sprachmodell rechnet nur, während es antwortet. Bei zwei Stunden echter Rechenzeit pro Arbeitstag und rund 27 Cent pro Kilowattstunde Gewerbestrom (Durchschnitt 2026) landen Sie bei etwa 50 Euro im Jahr. Der wahre Kostenfresser ist der Leerlauf: Läuft derselbe Rechner rund um die Uhr, summieren sich 60 bis 80 Watt Grundverbrauch auf 150 bis 190 Euro jährlich. Die Lösung ist unspektakulär – den Rechner schlafen legen, wenn niemand fragt. Wer es sparsamer will: Der Mac mini liegt unter Volllast bei 30 bis 40 Watt, im Leerlauf im einstelligen Bereich. Dafür ist er bei den größeren Modellen der Stufe 2 spürbar langsamer.
Meine Empfehlung: erst rechnen, dann kaufen
Beginnen Sie nicht beim Gerät, sondern bei der Aufgabenliste: Was soll laufen, wie oft, mit welchen Daten? Daraus ergibt sich die Stufe – und oft steht die passende Hardware schon im Büro oder wartet gebraucht für kleines Geld. Wenn Sie diese Rechnung nicht allein aufmachen wollen: Genau das kläre ich in der KI-Beratung, inklusive der ehrlichen Antwort, falls sich lokale KI für Sie noch nicht lohnt. Das Erstgespräch ist kostenlos.
