Was ist ein Mixture-of-Experts-Modell? (Und warum groß nicht gleich teuer ist)
KI-Modelle werben mit Milliarden Parametern – rechnen pro Wort aber nur mit einem Bruchteil davon. Wie Mixture of Experts funktioniert, wo die ehrlichen Grenzen liegen und warum das der Hebel für KI auf eigener Hardware ist.
Wenn ein neues KI-Modell erscheint, steht in der ersten Zeile fast immer eine Zahl: 30 Milliarden Parameter, 70 Milliarden, mehr. Die Botschaft dahinter ist simpel. Größer ist klüger – und braucht größere, teurere Hardware.
Das stimmt so nicht mehr. Eine Bauweise namens Mixture of Experts (übersetzt: Expertenmischung) trennt, was lange untrennbar schien: wie viel ein Modell weiß und wie viel jede einzelne Antwort kostet. Viele der spannendsten offenen Modelle sind inzwischen so gebaut. Grund genug, das Prinzip einmal ohne Fachchinesisch zu erklären.
Wie ein klassisches Modell rechnet
Ein Sprachmodell besteht aus Parametern – Milliarden gelernter Zahlenwerte, in denen das Wissen des Modells steckt. Beim klassischen Bauprinzip, dem sogenannten dichten Modell, rechnen bei jeder Antwort alle Parameter mit. Für jedes einzelne Wort, das das Modell erzeugt, wird das komplette Netz einmal durchlaufen.
Die Folge: Wissen und Rechenaufwand hängen fest aneinander. Doppelt so viel Wissen heißt doppelt so viel Rechenarbeit pro Wort – und damit teurere Grafikkarten, mehr Strom, langsamere Antworten. Wer das größere Modell will, zahlt bei jeder einzelnen Anfrage dafür.
Was macht ein Mixture-of-Experts-Modell anders?
Stellen Sie sich eine Restaurantküche mit großer Brigade vor: ein Posten für Saucen, einer für Fisch, einer für Beilagen, die Patisserie für das Dessert. Kommt eine Bestellung herein, kochen nicht alle vierzig Leute an einem Teller. Am Pass steht jemand, liest den Bon und ruft genau die zwei Posten auf, die dieser Teller braucht. Der Rest bleibt an seinen Stationen.
Die Küche hat das Können der ganzen Brigade im Haus. Auf jedem einzelnen Teller steckt aber nur die Arbeitszeit von zwei Posten.
Genau so arbeitet ein Mixture-of-Experts-Modell. Statt eines großen Netzes, das alles auf einmal kann, enthält es viele kleinere Experten-Blöcke. Davor sitzt ein sogenannter Router – der Kollege am Pass. Für jeden Wortbaustein entscheidet er neu, welche wenigen Experten mitrechnen dürfen. Alle anderen bleiben still und kosten in diesem Moment keine Rechenzeit.
Was das in Zahlen heißt
Das derzeit beste Anschauungsbeispiel ist Soofi S, das offene deutsche Modell, das ich mir im Praxischeck genauer angesehen habe: 31,6 Milliarden Parameter insgesamt, aber nur rund 3,2 Milliarden rechnen pro Wortbaustein mit. Das Modell trägt das Wissen eines Großen im Haus – und rechnet zum Preis eines Kleinen.
Das Prinzip setzt sich gerade in der Breite durch. Mixtral 8x7B aus Frankreich machte es Ende 2023 populär: 46,7 Milliarden Parameter, rund 12,9 Milliarden aktiv pro Wortbaustein. OpenAIs offenes gpt-oss-120b speichert 117 Milliarden und rechnet mit 5,1 Milliarden. Wer heute ein offenes Modell veröffentlicht, das außerhalb von Rechenzentren laufen soll, baut mit hoher Wahrscheinlichkeit einen Expertenmix.
Der ehrliche Haken
Das klingt nach Zauberei. Ist es nicht – es gibt zwei Grenzen, und die gehören auf den Tisch.
Der Speicher schrumpft nicht. Auch wenn pro Wort nur wenige Experten rechnen: Geladen sein müssen alle, denn der Router entscheidet erst im laufenden Betrieb, wen er aufruft. Die ganze Brigade braucht Platz in der Küche, auch wenn pro Teller nur zwei Posten arbeiten. Bei Soofi S heißt das gut 60 Gigabyte Speicher in der unkomprimierten Fassung. Gespart wird an Rechenzeit und Strom pro Antwort – nicht am Speicherausbau.
Die Qualität hängt am Router. Schickt der Kollege am Pass das Fischgericht zur Patisserie, hilft die beste Brigade nichts. Ob ein Expertenmix gut antwortet, entscheidet sich wesentlich daran, wie treffsicher der Router die Arbeit verteilt – und das ist Trainingssache, die man dem fertigen Modell von außen nicht ansieht. Die Parameterzahl allein sagt über die Qualität deshalb noch weniger aus als früher.
Warum das für kleine Betriebe der Hebel ist
Für Konzerne mit eigenen Rechenzentren ist das eine Kostenfrage. Für kleine Organisationen ist es die Eintrittskarte: Modelle einer Klasse, die vor zwei Jahren nur auf Rechenzentrums-Hardware liefen, laufen dank Expertenmix inzwischen auf einer kräftigen Workstation im eigenen Haus – mit Antwortzeiten, die im Alltag bestehen.
Damit wird ein Versprechen einlösbar, das ich hier schon öfter beschrieben habe: KI, die Ihre Daten nicht verlässt. Ein Modell auf eigener Hardware schickt keine Mandanten-, Patienten- oder Mitgliederdaten an einen US-Konzern. Mixture of Experts ist der technische Grund, warum diese Rechnung für kleine Häuser überhaupt aufgeht – nach derselben Logik, mit der sich auch andere Dienste im eigenen Betrieb hosten lassen.
Kurz gesagt: Die Zahl vor dem Wort »Parameter« verrät, was ein Modell weiß. Was der Betrieb kostet, entscheidet die Bauweise.
Und jetzt?
Ich bin Dominik De Marco, IT-Berater. Ich baue kleinen Organisationen ihre IT auf quelloffener Basis auf – von der eigenen Cloud bis zur lokalen KI. Ob ein lokales Modell für Ihren Betrieb Sinn ergibt oder die ehrliche Antwort vorerst »noch nicht« lautet, klären wir gemeinsam. Das Erstgespräch ist kostenlos.
