Was sind Modelldateien?

Modelldateien enthalten die trainierten Gewichte eines Sprachmodells. Für lokale Nutzung liegen sie häufig im GGUF-Format vor, etwa für llama.cpp, oder in Formaten wie EXL3 für ExLlamaV3. Ihre Größe folgt grob der Regel Parameter × Bit ÷ 8. Ein 70B-Modell in 4 Bit ist rund 35 GB groß, ein 120B-Modell rund 60 GB. Kleine Modelle passen dagegen in wenige GB. Das betrifft zwei Komponenten: Die Datei muss auf die SSD passen und zum Ausführen in den Arbeitsspeicher geladen werden. Wer mehrere große Modelle parallel vorhält, braucht viel Speicherplatz. Beim GMKtec EVO-X2 mit 1 TB SSD ist der Platz nach wenigen 60-GB-Modellen erschöpft. Der Bosgame M5 AI bietet mit 2 TB doppelt so viel Raum.