Was ist ein Router bei MoE-Modellen?

Bei Mixture-of-Experts-Modellen (MoE) ist der Router ein kleines Teilnetz in jeder Schicht. Er entscheidet für jedes Token, welche wenigen Experten-Blöcke die Berechnung übernehmen. Ein Beispiel ist Qwen3.8-Flash-Next: Jede seiner 48 Schichten hat 512 Experten, davon nutzt der Router 10 pro Token. Aktiv sind so nur rund 6B der 125B Parameter. Für die Hardware heißt das: Alle Gewichte müssen im Speicher liegen, weil der Router bei jedem Token andere Experten wählen kann. Pro Token gelesen werden aber nur die aktiven Gewichte. Deshalb erzeugen große MoE-Modelle auf Rechnern mit 128 GB Unified Memory wie dem Bosgame M5 AI deutlich mehr Tokens/s als gleich große dichte Modelle. Auf dieser Seite ist mit Router fast immer diese Modellkomponente gemeint, nicht das Netzwerkgerät.