Was bedeutet Bit bei KI-Modellen?
Ein Bit ist die kleinste digitale Informationseinheit. Bei Sprachmodellen beschreibt die Bit-Zahl, wie genau jedes Gewicht gespeichert ist. Modelle werden oft in 16 Bit veröffentlicht. Durch Quantisierung lassen sie sich auf etwa 8, 4 oder sogar rund 3 Bit pro Gewicht verkleinern. Die Kurzform „Q4“ steht für eine 4-Bit-Variante, „bpw“ für Bits pro Gewicht. Halbiert man die Bit-Zahl, halbiert sich ungefähr der Speicherbedarf der Gewichte. Ein 70B-Modell braucht in 16 Bit rund 140 GB, in 4 Bit etwa 35 GB. Weniger Bit kosten jedoch Genauigkeit, und stark geschrumpfte Varianten können spürbar schlechtere Antworten liefern. 4 Bit gilt als gängiger Kompromiss. So passt etwa ein 30B-Modell in 4 Bit auf den Apple Mac Studio (M5 Max) mit 36 GB.