Gewichte eines KI-Modells erklärt
Gewichte sind die Parameter, die ein Sprachmodell im Training gelernt hat. Ein 70B-Modell besteht zum Beispiel aus rund 70 Milliarden solcher Zahlenwerte. Beim lokalen Ausführen müssen alle Gewichte im Arbeitsspeicher liegen. Ihr Platzbedarf lässt sich mit einer Faustregel abschätzen: Parameter × Bit pro Gewicht ÷ 8 ergibt die Größe in Byte. Ein 70B-Modell braucht demnach in 4 Bit etwa 35 GB, in 16 Bit etwa 140 GB. Ein 120B-Modell kommt in 4 Bit auf rund 60 GB. Dazu kommen KV-Cache, Puffer und das Betriebssystem. Deshalb passt ein 70B-Modell in 4 Bit nicht auf den Apple Mac Studio (M5 Max) mit 36 GB, wohl aber auf den Bosgame M5 AI mit 128 GB. Bei „Open-Weight“-Modellen sind die Gewichte frei herunterladbar und lassen sich lokal nutzen.