# KV-Cache erklärt

> Der KV-Cache Key-Value-Cache speichert für jedes bereits verarbeitete Token die Schlüssel- und Wertvektoren aus dem Attention-Mechanismus des Modells.

Quelle: https://ki-minipc-vergleich.de/glossary/kv-cache · Stand: 2026-11-18

Der KV-Cache (Key-Value-Cache) speichert für jedes bereits verarbeitete [Token](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde) die Schlüssel- und Wertvektoren aus dem Attention-Mechanismus des Modells. So muss das Modell den bisherigen Text nicht für jedes neue Token komplett neu berechnen, und die Antwort entsteht deutlich schneller. Der Preis dafür ist [Arbeitsspeicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher): Der KV-Cache wächst mit der [Kontextlänge](https://ki-minipc-vergleich.de/glossary/kontext) und kommt zu den Gewichten hinzu. Bei langen Kontexten kann er mehrere Gigabyte belegen. Ein Beispiel: Die [Gewichte](https://ki-minipc-vergleich.de/glossary/gewichte) eines 70B-Modells in [4 Bit](https://ki-minipc-vergleich.de/glossary/bit) brauchen schon rund 35 GB. Deshalb reicht der [Apple Mac Studio](https://ki-minipc-vergleich.de/apple-mac-studio-m5-max-36-gb-512-gb) (M5 Max) mit 36 GB nicht, sobald KV-Cache und [Betriebssystem](https://ki-minipc-vergleich.de/glossary/betriebssystem) dazukommen. Mit 128 GB wie beim [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) bleibt dagegen ausreichend Reserve. Manche Programme können den KV-Cache [quantisieren](https://ki-minipc-vergleich.de/glossary/quantisierung), um Speicher zu sparen.
