Was sind Parameter eines Sprachmodells?

Parameter sind die beim Training gelernten Zahlenwerte (Gewichte) eines Sprachmodells. Ihre Anzahl steht oft im Namen: „70B“ bedeutet 70 Milliarden Parameter. Mehr Parameter bedeuten meist bessere Antworten, aber auch mehr Speicherbedarf. Als Faustregel gilt: Gewichte ≈ Parameter × Bit ÷ 8. Ein 70B-Modell in 4 Bit braucht also rund 35 GB, ein 120B-Modell rund 60 GB. Puffer und KV-Cache kommen noch hinzu. Bei Mixture-of-Experts-Modellen (MoE) arbeitet pro Token nur ein Teil der Parameter. Qwen3.8-Flash-Next hat zum Beispiel 125B Parameter, davon sind pro Token nur etwa 6B aktiv. Den Speicherbedarf bestimmt aber weiter die Gesamtzahl. Der Apple Mac mini (M6) mit 16 GB schafft deshalb kein 70B-Modell.