LokalKI

Was ist Quantisierung?

Quantisierung reduziert die Genauigkeit, mit der die Gewichte eines Sprachmodells gespeichert werden, etwa von 16 auf 4 Bit pro Parameter. Bezeichnungen wie Q4 oder 4-Bit stehen dafür. Der Speicherbedarf sinkt dabei entsprechend: Nach der Regel Parameter × Bit ÷ 8 braucht ein 70B-Modell in 16 Bit rund 140 GB, in 4 Bit nur rund 35 GB. Erst so werden große Modelle auf Mini-PCs nutzbar. Der Preis dafür ist ein gewisser Qualitätsverlust, der bei starker Quantisierung deutlich spürbar wird. 4 Bit gilt oft als brauchbarer Kompromiss. Gängige Formate sind GGUF und EXL3. Der GMKtec EVO-X2 mit 128 GB führt so quantisierte 70B- und 120B-Modelle lokal aus.