Was bedeutet 120B-Klasse?

„120B-Klasse“ bezeichnet Sprachmodelle mit ungefähr 120 Milliarden Parametern. Den Speicherbedarf schätzt eine Faustregel: Gewichte ≈ Parameter × Bit ÷ 8. In 4-Bit-Quantisierung ergibt das rund 60 GB, in 8 Bit rund 120 GB. Hinzu kommen KV-Cache, Puffer und Betriebssystem – Q8 passt auf 128-GB-Rechner deshalb praktisch nicht. Setzt du auf Unified Memory, brauchst du für Q4 mindestens ~128 GB. Der GMKtec EVO-X2 nennt quantisierte 70B- und 120B-Modelle ausdrücklich als Einsatzzweck, der MS-S1 MAX bietet sogar 192 GB. Geräte mit 16 bis 36 GB wie der Mac mini M6 oder der Mac Studio M5 Max reichen dafür nicht. Bei MoE-Modellen muss zwar das ganze Modell in den Speicher, pro Token rechnet aber nur ein kleiner Teil: Qwen3.8-Flash-Next (125B) aktiviert rund 6B Parameter und schafft laut dev.to auf einer RTX 5090 (32 GB) plus 64 GB DDR5 etwa 50 tok/s – Unified Memory ist also nicht der einzige Weg.