Was ist ein 70B-Modell?
Ein 70B-Modell ist ein Sprachmodell mit etwa 70 Milliarden Parametern. Diese Größenklasse gilt als Maßstab dafür, ob ein Rechner auch anspruchsvolle lokale KI bewältigt. In 16 Bit belegen die Gewichte rund 140 GB, in 4 Bit (Q4) etwa 35 GB. Hinzu kommen KV-Cache, Puffer und Betriebssystem, daher reicht exakt so viel Speicher nicht aus. Geräte mit 16 bis 36 GB scheiden aus: Auf den Apple Mac mini M6 (16 GB) und M5 Pro (24 GB), den Minisforum AI X1 Pro (32 GB) und den Apple Mac Studio M5 Max (36 GB) passt ein 70B-Modell in 4 Bit nicht. Mit 128 GB laufen 70B-Modelle in Q4 dagegen problemlos, etwa auf dem Bosgame M5 AI, dem GMKtec EVO-X2 oder dem ASUS Ascent GX10.