KV-Cache erklärt
Der KV-Cache (Key-Value-Cache) speichert für jedes bereits verarbeitete Token die Schlüssel- und Wertvektoren aus dem Attention-Mechanismus des Modells. So muss das Modell den bisherigen Text nicht für jedes neue Token komplett neu berechnen, und die Antwort entsteht deutlich schneller. Der Preis dafür ist Arbeitsspeicher: Der KV-Cache wächst mit der Kontextlänge und kommt zu den Gewichten hinzu. Bei langen Kontexten kann er mehrere Gigabyte belegen. Ein Beispiel: Die Gewichte eines 70B-Modells in 4 Bit brauchen schon rund 35 GB. Deshalb reicht der Apple Mac Studio (M5 Max) mit 36 GB nicht, sobald KV-Cache und Betriebssystem dazukommen. Mit 128 GB wie beim GMKtec EVO-X2 bleibt dagegen ausreichend Reserve. Manche Programme können den KV-Cache quantisieren, um Speicher zu sparen.