# Was ist Quantisierung?

> Quantisierung reduziert die Genauigkeit, mit der die Gewichte eines Sprachmodells gespeichert werden, etwa von 16 auf 4 Bit pro Parameter.

Quelle: https://ki-minipc-vergleich.de/glossary/quantisierung · Stand: 2026-11-18

[Quantisierung](https://ki-minipc-vergleich.de/glossary/bit) reduziert die Genauigkeit, mit der die Gewichte eines Sprachmodells gespeichert werden, etwa von 16 auf 4 Bit pro [Parameter](https://ki-minipc-vergleich.de/glossary/gewichte). Bezeichnungen wie Q4 oder 4-Bit stehen dafür. Der Speicherbedarf sinkt dabei entsprechend: Nach der Regel Parameter × Bit ÷ 8 braucht ein [70B-Modell](https://ki-minipc-vergleich.de/glossary/70b-modell) in 16 Bit rund 140 GB, in 4 Bit nur rund 35 GB. Erst so werden große Modelle auf [Mini-PCs](https://ki-minipc-vergleich.de/glossary/mini-pc) nutzbar. Der Preis dafür ist ein gewisser Qualitätsverlust, der bei starker Quantisierung deutlich spürbar wird. 4 Bit gilt oft als brauchbarer Kompromiss. Gängige Formate sind GGUF und EXL3. Der [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) mit 128 GB führt so quantisierte 70B- und [120B-Modelle](https://ki-minipc-vergleich.de/glossary/120b-klasse) lokal aus.
