LokalKI

Modellgröße erklärt

Die Modellgröße gibt an, wie viele Parameter (Gewichte) ein Sprachmodell hat. Die Angabe erfolgt in Milliarden, abgekürzt „B“ (englisch billion): 30B, 70B, 120B oder 200B. Größere Modelle liefern meist bessere Antworten, brauchen aber mehr Arbeitsspeicher und rechnen langsamer. Den Speicherbedarf schätzt man mit Parameter × Bit ÷ 8. In 4 Bit braucht ein 30B-Modell also etwa 15 GB, ein 70B-Modell rund 35 GB und ein 120B-Modell rund 60 GB, jeweils zuzüglich KV-Cache. Bei Mixture-of-Experts-Modellen (MoE) ist nur ein Teil der Parameter pro Token aktiv. Qwen3.8-Flash-Next hat zum Beispiel 125B Parameter, davon etwa 6B aktiv pro Token. Der Speicher muss trotzdem das ganze Modell fassen. Laut Hersteller schafft der ASUS Ascent GX10 mit 128 GB Speicher 200B-Modelle lokal.